Hasta el viernes, el modelo Maverick no modificado "Llama-4-Maverick-17B-128E-Instruct" se ubicó por debajo de modelos como el GPT-4o de OpenAI, el Claude3.5Sonnet de Anthropic y el Gemini1.5Pro de Google. Muchos de estos modelos incluso fueron lanzados hace unos meses.
¿A qué se debe el pobre desempeño? Meta explica en un gráfico publicado el sábado que su modelo experimental Maverick, Llama-4-Maverick-03-26-Experimental, ha sido "optimizado para la naturaleza conversacional". Estas optimizaciones aparentemente funcionan bien en LMArena, ya que la plataforma requiere evaluadores humanos para comparar el resultado de modelos individuales y elegir qué modelo prefieren.
Por diversas razones, LMArena nunca ha sido la métrica más confiable para medir el rendimiento del modelo de IA. Sin embargo, adaptar un modelo a un punto de referencia (además de ser engañoso) también dificulta que los desarrolladores predigan con precisión cómo funcionará el modelo en diferentes entornos.
Meta probó "todo tipo de variaciones personalizadas", dijo un portavoz de Meta en un comunicado.
"'Llama-4-Maverick-03-26-Experimental' es la versión optimizada para chat que probamos y funcionó bien en LMArena", dijo el portavoz. "Ya hemos lanzado la versión de código abierto y estaremos observando cómo los desarrolladores personalizan Llama4 para sus propios casos de uso. Estamos muy ansiosos de ver sus resultados finales y de recibir sus comentarios continuos".