Según noticias del 12 de diciembre, xAI, una startup de inteligencia artificial propiedad del CEO de Tesla y SpaceX, Elon Musk, lanzó recientemente su robot de chat Grok, pero algo parece haber salido mal. El viernes, el evaluador de seguridad Jax Winterbourne publicó una captura de pantalla en la plataforma de redes sociales.
Esto despertó la curiosidad de la gente porque Grok no fue desarrollado por OpenAI y las dos partes siguen siendo competidoras.
Lo que es aún más interesante es que la gente de xAI no negó que este comportamiento ocurriera en sus modelos de IA. Igor Babuschkin escribió en su respuesta: "El problema es que cuando estábamos entrenando a Grok, la red estaba llena de salidas ChatGPT y accidentalmente usamos algunas de ellas. También nos sorprendió mucho cuando notamos este problema por primera vez. De todos modos, este problema es muy raro, y ahora que lo sabemos, nos aseguraremos de que las versiones futuras de Grok no tengan este problema. No se preocupe, no se utilizó ningún código OpenAI para desarrollar Grok".
En respuesta a Babushkin, Winterbourne escribió: "Gracias por su respuesta. Diré que esta situación no es infrecuente y ocurre con frecuencia cuando se trata de la creación de código. Aún así, dejaré que aquellos que se especializan en grandes modelos de lenguaje e inteligencia artificial discutan esto más a fondo. Después de todo, solo soy un profano".
Sin embargo, a muchos expertos la explicación de Babushkin no les pareció convincente. Los modelos de lenguaje grandes generalmente no escupen sus datos de entrenamiento palabra por palabra, y sería comprensible si Grok mencionara las políticas de OpenAI en línea. Negarse a responder basándose en la política de OpenAI puede requerir capacitación especializada. La razón más probable para que esto suceda es que Grok ajustó los datos de salida del modelo de lenguaje grande OpenAI.
El investigador de inteligencia artificial Simon Willison dijo en una entrevista: "Soy un poco escéptico al respecto. ¿Grok se está comportando así solo porque Internet está inundado de contenido generado por ChatGPT? He visto muchos modelos de peso abierto en HuggingFace que exhiben el mismo comportamiento, como También son los mismos que ChatGPT. Esto se debe a que estos modelos están ajustados en conjuntos de datos generados con OpenAIAPI o utilizando conjuntos de datos generados por el propio ChatGPT. Creo que Es más probable que Grok esté sintonizado con el conjunto de datos que contiene la salida de ChatGPT, en lugar de un accidente basado en los datos de la red”.
A medida que los grandes modelos de lenguaje de OpenAI se vuelven cada vez más poderosos, se ha vuelto cada vez más común que algunos proyectos de inteligencia artificial (especialmente proyectos de código abierto) utilicen datos sintéticos generados por otros grandes modelos de lenguaje para ajustar la salida de sus propios modelos de inteligencia artificial. Ajustar el comportamiento de un modelo de IA puede servir para propósitos específicos, como mejorar las capacidades de codificación después de una ejecución de entrenamiento inicial. En marzo de este año, un grupo de investigadores de la Universidad de Stanford causó revuelo cuando utilizaron el resultado del modelo GPT-3 de OpenAI (llamado Text-DaVinci-003) para afinar el seguimiento de instrucciones.
En línea, podemos encontrar fácilmente varios conjuntos de datos de código abierto que los investigadores han recopilado a partir de los resultados de ChatGPT. Por lo tanto, es posible que xAI haya perfeccionado Grok utilizando uno de los conjuntos de datos para lograr algunos objetivos específicos. Esta práctica es tan común que incluso hay un artículo titulado "Cómo usar ChatGPT para crear un conjunto de datos" en el sitio web de guías de vida estilo enciclopedia WikiHow.
Esta es una forma en el futuro de utilizar herramientas de inteligencia artificial para construir herramientas de inteligencia artificial más complejas, justo cuando la gente comenzó a usar microcomputadoras para diseñar microprocesadores que eran más complejos que los dibujos con lápiz y papel. Sin embargo, xAI podría evitar esto en el futuro filtrando los datos de entrenamiento con más cuidado.
Si bien tomar prestado el trabajo de otros puede ser común en la comunidad de aprendizaje automático (aunque esto generalmente va en contra de los términos de servicio), este incidente ha intensificado la competencia entre OpenAI y xAI, que incluso se remonta a las críticas pasadas de Musk a OpenAI. Cuando se difundió la noticia de que Grok podría tomar prestados datos del modelo OpenAI, la cuenta oficial de ChatGPT incluso publicó una publicación burlándose de xAI, diciendo: "Tenemos mucho en común" y citando la publicación de Winterbourne. Musk respondió: "Usted recopila todos los datos de entrenamiento de esta plataforma, ¡debe saberlo!".