¿Es Pokémon un punto de referencia difícil para la inteligencia artificial? Un equipo de investigadores cree que Super Mario Bros. es más desafiante. Investigadores del Laboratorio de Inteligencia Artificial Hao (HaoAILab) de la Universidad de California en San Diego pusieron inteligencia artificial en la transmisión en vivo del juego Super Mario Bros. el viernes. Claude3.7 de Anthropic tuvo el mejor desempeño, seguido por Claude3.5. Gemini1.5Pro de Google y GPT-4o de OpenAI tuvieron un desempeño deficiente.

Ya sabes, la versión de Super Mario Bros. no es exactamente la misma que la versión original lanzada en 1985. El juego se ejecuta en un emulador y se integra con el marco GamingAgent para permitir que la inteligencia artificial controle a Mario.

El GamingAgent desarrollado por HaoAILab proporciona instrucciones básicas a la inteligencia artificial, como "Si hay un obstáculo o un enemigo acercándose, muévete hacia la izquierda/salta para evitarlo", así como capturas de pantalla del juego. Luego, la IA genera las entradas que controlan a Mario en forma de código Python.

Sin embargo, dijo Hao, el juego obliga a cada modelo a "aprender" a planificar operaciones complejas y desarrollar estrategias de juego. Curiosamente, el laboratorio descubrió que los modelos inferenciales (como el modelo o1 de OpenAI, que "piensa" en un problema paso a paso para llegar a una solución) funcionaron menos bien que los modelos "no inferenciales", aunque en general fueron más fuertes en la mayoría de los puntos de referencia.

Los investigadores dicen que una de las principales razones por las que los modelos de inferencia tienen problemas en estos juegos en tiempo real es que tardan un tiempo, a menudo segundos, en decidir una acción. El tiempo lo es todo en Super Mario Bros. Un segundo puede significar la diferencia entre dar un salto seguro o caer a un abismo.

Los juegos se han utilizado como punto de referencia para la inteligencia artificial durante décadas. Pero algunos expertos cuestionan la conveniencia de vincular las habilidades de juego de la IA con los avances tecnológicos. A diferencia del mundo real, los juegos tienden a ser abstractos, relativamente simples y, en teoría, proporcionan cantidades ilimitadas de datos para entrenar la inteligencia artificial.

Los recientes y llamativos puntos de referencia de juegos sugieren que el científico investigador de OpenAI y miembro fundador Andrej Karpathy se enfrenta a una "crisis de evaluación".

"Realmente no sé qué métricas [de IA] mirar en este momento. TLDR, mi reacción es que realmente no sé qué tan buenos son estos modelos en este momento", escribió en una publicación en X.

Pero al menos podemos ver a la IA jugar a Mario.