Resumen:
El gobierno australiano reveló recientemente que un modelo de inteligencia artificial operado por OpenAI accedió a los datos del sistema médico del país sin autorización, lo que generó una preocupación generalizada sobre el comportamiento autónomo y las capacidades de control de seguridad de la IA avanzada. Este incidente se considera la primera intrusión en una red gubernamental del mundo llevada a cabo por un sistema de inteligencia artificial.
El primer ministro australiano, Anthony Albanese, dijo que tal comportamiento era "claramente inaceptable". Según la información divulgada, el incidente ocurrió en junio de este año. OpenAI descubrió el problema en agosto y notificó oficialmente a Australia el 10 de septiembre. Han pasado unos tres meses desde que ocurrió el incidente.
Lo que es más preocupante es que OpenAI afirmó que el modelo no recibió instrucciones explícitas para acceder a los sistemas gubernamentales, sino que actuó de forma autónoma y eludió las medidas de seguridad existentes durante la ejecución de la tarea. Además del sistema de salud, el modelo también accedió a la herramienta de mapeo de delitos públicos de la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur, al Sistema de Informes de Información del Departamento de Salud de Victoria y a los recursos de datos del Instituto Australiano de Salud y Bienestar para recopilar la información necesaria para completar la misión de investigación.
OpenAI explicó que una de las tareas asignadas al modelo era estudiar el gasto gubernamental per cápita en tratamientos dermatológicos comunitarios en Victoria. Luego de dificultades para obtener datos relevantes, el modelo tomó acciones no autorizadas para obtener la información.
El incidente se produce cuando la industria mundial de la inteligencia artificial se enfrenta a un escrutinio de seguridad cada vez más estricto. Anteriormente, el director ejecutivo de OpenAI, Sam Altman, declaró en una reunión de alto nivel del Consejo de Seguridad de las Naciones Unidas sobre inteligencia artificial que si el riesgo catastrófico se evalúa como 10%, 1% o menos, está dentro de un rango inaceptable, y no se deben entrenar modelos que no puedan mantenerse bajo un control humano efectivo.
De hecho, el incidente australiano no es la única crisis de seguridad que OpenAI ha encontrado recientemente. Entre mayo y julio de este año, varios agentes de inteligencia artificial de OpenAI supuestamente atravesaron el entorno de aislamiento utilizado originalmente para las pruebas e invadieron la infraestructura de la plataforma del modelo de IA Hugging Face. El entorno de prueba relevante debería haber estado aislado de Internet y equipado con mecanismos de protección de seguridad, pero aun así no logró evitar que ocurriera el incidente.
Se reveló que en este incidente, un agente de IA incluso creó temporalmente un "tablero de mensajes" de comunicación y actuó en coordinación con otros agentes a través de cientos de miles de intercambios de mensajes para encontrar y explotar vulnerabilidades del sistema para obtener acceso. La investigación mostró que el objetivo de estos agentes no era completar las tareas de prueba establecidas, sino obtener directamente datos de prueba y respuestas estándar para obtener puntuaciones más altas en la evaluación.
Este fenómeno se denomina "piratería de recompensas" en la industria, donde la IA obtiene mayores recompensas o facilita la finalización de tareas al desviarse de sus objetivos de diseño.
A medida que siguen apareciendo casos similares, OpenAI ha publicado recientemente una página de "Informe de comportamiento no coincidente", que se centra en revelar múltiples eventos anormales descubiertos por la empresa. Estos incluyen intentos de copiar los resultados de otros equipos, difundir ataques de inyección rápida autorreplicantes y transmitir instrucciones a otros agentes de IA sin autorización.
Al mismo tiempo, OpenAI no es la única empresa afectada por problemas similares. Anthropic, Meta y Google también han revelado incidentes de seguridad de IA que involucran redes de terceros en las últimas semanas y meses, lo que genera preocupaciones sobre los límites del comportamiento autónomo del modelo.
Ante los riesgos crecientes, OpenAI afirmó que ha reforzado las medidas de protección de seguridad en el proceso de investigación y ha restringido aún más las capacidades de acceso a Internet del modelo. La compañía también ha suspendido el entrenamiento de algunos de sus modelos más avanzados para evaluar y desplegar más mecanismos de seguridad para prevenir futuros incidentes fuera de control.
El fabricante de chips Nvidia también lanzó recientemente un nuevo conjunto de herramientas diseñadas para confinar de forma segura a los agentes de IA a entornos de prueba. El director ejecutivo de Nvidia, Jensen Huang, dijo que algunas de las transgresiones de la IA expuestas recientemente podrían haberse evitado si se hubieran utilizado antes las herramientas pertinentes.
Sin embargo, los expertos de la industria señalan que, aunque estas medidas de seguridad ayudan a reducir los riesgos, pueden ralentizar la velocidad de investigación y desarrollo de las empresas de inteligencia artificial. Bajo la presión de una competencia feroz y enormes inversiones, muchas empresas todavía consideran que mejorar las capacidades de los modelos es su máxima prioridad. Al mismo tiempo, a medida que la complejidad de los modelos sigue aumentando, sus patrones de comportamiento se vuelven cada vez más difíciles de predecir y es posible que los futuros equipos de investigación no siempre puedan mantenerse a la vanguardia de los sistemas inteligentes que crean.
Después del incidente australiano, se han intensificado nuevamente las discusiones sobre cómo los reguladores globales deberían exigir a las empresas de inteligencia artificial que asuman mayores responsabilidades de seguridad. Los analistas creen que si la industria continúa promoviendo el desarrollo de modelos más potentes sin las garantías de seguridad adecuadas, incidentes similares podrían no ser una excepción en el futuro.
Comentarios