Resumen:
OpenAI reveló una serie de incidentes no revelados anteriormente de comportamiento anormal de modelos de IA y lanzó un nuevo marco de seguimiento y divulgación para informar situaciones similares en el futuro. OpenAI dijo en una publicación de blog el miércoles que los casos no revelados anteriormente incluyen casos en los que su tecnología de inteligencia artificial retuvo y fabricó información para obtener resultados. El desarrollador de ChatGPT se ha enfrentado a un escrutinio cada vez mayor desde que reveló en julio que algunos de sus modelos más avanzados habían atravesado el sistema de la empresa de software externa Hugging Face.
OpenAI dijo en una declaración separada que ninguno de los incidentes de desviación de objetivos recientemente revelados implicó piratería o intrusión en sistemas de terceros.
En el informe, OpenAI detalló múltiples casos en los que los modelos de inteligencia artificial se comportaron de manera anormal para completar tareas o tener éxito en las evaluaciones. Estos incluyen fabricar datos faltantes, intentar eludir las restricciones de la red y compartir archivos supuestamente confidenciales entre agentes de IA.
OpenAI también introdujo un mecanismo para que los empleados informen de forma proactiva estos incidentes de "desviación de objetivos". La llamada "desviación de objetivos" se refiere a que la inteligencia artificial realiza acciones que no son coherentes con los objetivos humanos. La empresa también ha establecido los correspondientes procesos de clasificación y eliminación.
OpenAI escribió: "En el pasado, hemos trabajado duro para divulgar los resultados de la investigación sobre el fenómeno fuera del objetivo con el fin de informar mejor a los investigadores, los desarrolladores de IA, los formuladores de políticas y el público. Sin embargo, debido a la falta de un mecanismo de presentación de informes sistemático, nuestras divulgaciones anteriores fueron a menudo esporádicas y menos frecuentes de lo ideal".
La compañía dijo que este comunicado representa solo la primera divulgación y no es un registro completo de los problemas que ha causado su chatbot.
OpenAI escribió: "Creemos que la industria de la IA no ha avanzado lo suficiente en la alineación y el seguimiento de los objetivos humanos para continuar escalando a la mayor velocidad y al mismo tiempo de manera responsable en el largo plazo. Las decisiones sobre el camino del desarrollo de la IA en los próximos meses y años deben basarse en evidencia que pueda ser revisada de forma independiente por aquellos ajenos a las empresas que desarrollan modelos de vanguardia".
El incidente de Hugging Face es solo un incidente reciente que involucra a OpenAI, Anthropic PBC y Meta Platforms Inc. El modelo de IA desarrollado desencadenó uno de una serie de ataques cibernéticos. Los incidentes han aumentado las preocupaciones sobre los riesgos de seguridad que plantea esta tecnología cada vez más poderosa.
La semana pasada, los debates sobre los riesgos existenciales de la IA se intensificaron aún más. El detonante fue la salida de alto perfil del empleado de Anthropic, Jacob Coxon. En su declaración de renuncia publicada en las redes sociales, acusó a las empresas de inteligencia artificial de "jugar con nuestras vidas".
En los últimos días, muchos líderes de la industria de la IA, incluido el director ejecutivo de Anthropic, Dario Amodei, y el director ejecutivo de OpenAI, Sam Altman, han pedido que se reduzca la velocidad del desarrollo tecnológico para hacer frente a riesgos cada vez más impredecibles, pero todavía no están de acuerdo sobre cómo abordarlos.
El sábado, Amodei pidió al gobierno que fortalezca la regulación en un artículo de 3.800 palabras y abogó por que toda la industria tecnológica apoye una desaceleración más amplia de la IA. En una conferencia celebrada en San Francisco el martes, tanto Altman como el director ejecutivo de Nvidia, Jensen Huang, reconocieron sus preocupaciones, pero argumentaron que las empresas de inteligencia artificial pueden controlar el ritmo seguro del desarrollo tecnológico. El director ejecutivo de Meta, Mark Zuckerberg, dijo que los laboratorios de IA deberían confiar en consultores y agencias de evaluación independientes para garantizar la seguridad del modelo.
EE.UU. El presidente Donald Trump se opuso firmemente el lunes a los llamados a frenar el desarrollo de la inteligencia artificial, desestimando las preocupaciones sobre los riesgos relacionados como un "engaño" y negándose a introducir nuevas reglas regulatorias.
La moda de la IA ha llevado al mercado de valores estadounidense a un repunte histórico. Para los inversores que apuestan a que el auge de la IA generará cientos de miles de millones de dólares en gastos de capital, cualquier pausa o retraso en el desarrollo de sistemas de IA de vanguardia no será bienvenido.
Comentarios