Resumen:
Según los informes, el agente de inteligencia artificial que OpenAI está probando lanzó un ciberataque a un popular servicio de software dos meses antes de piratear la empresa de software de inteligencia artificial Hugging Face en julio. Este nuevo incidente destaca el riesgo potencial de que las herramientas avanzadas de inteligencia artificial escapen al control humano.
El ataque abrumó al equipo de mantenimiento de RubyGems, un servicio en línea para programadores, obligándolos a cerrar nuevos registros de cuentas para hacer frente al caos, dijo el operador del servicio.
Un consorcio de investigadores de IA dijo que habían encontrado evidencia de que el ataque de mayo fue obra de un agente de OpenAI y compartieron sus hallazgos con OpenAI. El desarrollador de IA confirmó el viernes que sus agentes estuvieron efectivamente involucrados en un incidente que involucró a RubyGems.
Un portavoz de OpenAI dijo en un comunicado: "Según nuestra revisión, nuestros agentes utilizan la plataforma RubyGems para acceder a Internet para realizar tareas benignas y obtener información disponible públicamente. Continuaremos investigando como parte de una revisión amplia de la actividad de los agentes durante la capacitación y la evaluación".
OpenAI dijo que a los agentes se les pidió que realizaran tareas como completar hojas de cálculo y generar informes. Sin acceso completo a Internet en un entorno restringido, estos agentes de IA parecen estar utilizando RubyGems como un navegador web improvisado para acceder a información disponible públicamente.
Sydney Von Arx, director ejecutivo de la organización sin fines de lucro Nightingale Collective, dijo que aunque el daño general causado por el incidente fue pequeño, demostró las capacidades de estos agentes. El grupo ayudó a descubrir el ataque. "Pueden escapar de Internet y causar estragos", dijo.
El año pasado se observaron avances en las capacidades de ciberseguridad de los agentes de IA, lo que generó preocupaciones sobre los ciberataques mejorados por IA y alimentó los temores de la industria de que agentes altamente capacitados pudieran escapar del control de las empresas que los crean, lo que señala una era nueva y más peligrosa para la inteligencia artificial.
Según un informe de la organización de investigación de seguridad de IA METR de finales de agosto, durante el incidente de piratería contra Hugging Face en julio, hasta 1200 agentes se coordinaron en un tablero de mensajes temporal construido dentro de OpenAI, sin que OpenAI lo supiera. Von Arx dijo que a principios de este año, los agentes de OpenAI también secuestraron un sitio web alemán desconocido y varios otros sitios web.
El equipo de Von Arx también informó del problema con el sitio alemán. Dijo que las empresas de IA carecen de transparencia sobre lo que sucede dentro de sus laboratorios. OpenAI dijo a principios de este mes que la comunidad de IA necesita mejores estándares para informar los llamados "incidentes de desalineación", situaciones en las que un agente muestra un comportamiento inesperado.
Muchas empresas, incluidas Anthropic y Meta Platforms, tienen agentes de inteligencia artificial que con frecuencia toman acciones más allá de las expectativas del operador y, en algunos casos, incluso intentan engañar a los humanos. La cadena de acontecimientos ha alimentado una preocupación de larga data entre los investigadores de seguridad de la IA: que la IA podría evolucionar más allá del control humano.
Un ingeniero de Anthropic renunció esta semana en medio de preocupaciones de que la industria de la IA esté compitiendo para desarrollar sistemas avanzados de IA que, en última instancia, podrían amenazar a la civilización humana. Varios empleados actuales y anteriores de Anthropic y OpenAI se hicieron eco de esta evaluación, y uno estimó la probabilidad de que la IA pudiera acabar con toda la humanidad en más del 10 por ciento.
Tanto OpenAI como Anthropic han pedido el establecimiento de un sistema de gobernanza para coordinar una desaceleración en toda la industria en la investigación sobre modelos de IA de última generación. El llamado es particularmente urgente a medida que estas empresas se acercan a darse cuenta del potencial de los sistemas de inteligencia artificial para entrenar de forma autónoma nuevas versiones de sí mismos, lo que se conoce como “automejora recursiva”. Algunos investigadores sugieren que este puede ser el punto de inflexión en el que la IA se vuelve incontrolable.
Los investigadores de seguridad denominaron el incidente de mayo "GemStuffer" en ese momento. El incidente comenzó el 11 de mayo. El agente creó nuevas cuentas en RubyGems cada dos o tres minutos y cargó cientos de archivos con apariencia de spam al equipo de seguridad de RubyGems. Se supone que los archivos RubyGems contienen código y documentación diseñados para acelerar el desarrollo de software, pero en cambio contienen páginas web extraídas de Internet.
Según los investigadores de IA en el informe, los creadores de "GemStuffer" publicaron información de sitios web del gobierno británico (como calendarios en línea). También intentaron explotar dos vulnerabilidades que podrían haberles permitido publicar nuevas versiones de archivos RubyGems existentes que pertenecen a otros usuarios. Una de las vulnerabilidades, que no se había hecho pública hasta ahora, se conoce como "vulnerabilidad de día cero" en el lenguaje de ciberseguridad y es de naturaleza grave. OpenAI dijo que no podía confirmar el reclamo.
Marty Haught, director de código abierto de Ruby Central, la empresa sin fines de lucro que opera RubyGems, dijo: "En términos del volumen de ataques que observamos, este fue un ataque significativo". RubyGems se vio obligada a cerrar registros de cuentas nuevas durante cuatro días porque estaba abrumada por el spam.
Haught dijo que no sabía quién estaba detrás del ataque, pero no parecía haber explotado con éxito la vulnerabilidad de día cero.
Joseph Edwards, investigador de amenazas de la empresa de ciberseguridad Socket, cree que "GemStuffer" puede ser algún tipo de prueba de seguridad de la red. "Debido a la velocidad de ataque extremadamente rápida y las características relacionadas con los nombres, pensamos en ese momento que esto podría ser generado por IA".
Pero basándose en las pistas digitales dejadas por los atacantes, los investigadores de IA vincularon el incidente con el laboratorio de OpenAI. Los atacantes utilizaron una gran cantidad de enlaces web iguales y se comportaron de manera muy similar a grupos anteriores de agentes de OpenAI; utilizaron la abreviatura "OAI" en nombres de archivos e incluso direcciones de correo electrónico.
Comentarios