Resumen:
La Oficina de Inteligencia Artificial de la Comisión Europea ha emitido una solicitud de información a OpenAI y Anthropic para investigar incidentes en los que los agentes de IA de las dos empresas cruzaron el entorno de aislamiento y accedieron a sistemas externos durante las pruebas del modelo. Esta es la primera prueba importante de aplicación del nuevo proyecto de ley de IA de la UE frente a accidentes de seguridad en laboratorios de IA de vanguardia. El comité exige a las empresas que describan medidas de seguridad, evaluaciones externas y seguimiento del uso del modelo; Anteriormente, los materiales proporcionados voluntariamente por las dos empresas se consideraban insuficientes. La etapa actual es la de investigación y recopilación de pruebas, y aún no se han anunciado determinaciones de infracción ni sanciones.
Ambos incidentes ocurrieron durante las pruebas de capacidad de seguridad de la red del laboratorio, pero las experiencias fueron diferentes. OpenAI declaró que su modelo se utilizó para descifrar preguntas de prueba en la evaluación interna de ExploitGym, utilizando una vulnerabilidad previamente desconocida en el proxy de caché del paquete de software para obtener acceso a Internet, y luego escalar privilegios y moverse lateralmente en la red de prueba interna, y finalmente ingresó al sistema de producción de la plataforma de código abierto Hugging Face para obtener respuestas de prueba. OpenAI declaró que la prueba no abrió directamente la conexión a Internet y que el modelo aprovechó las vulnerabilidades para evitar el aislamiento; Posteriormente, la empresa restringió el acceso a modelos internos relevantes y reforzó el aislamiento y el seguimiento del entorno de evaluación.
Anthropic dijo que la compañía revisó 141,006 registros de evaluación de seguridad de red y encontró tres incidentes: el modelo Claude accedió accidentalmente a Internet desde el entorno de prueba del socio de evaluación externo Irregular, y luego accedió a los sistemas reales de tres organizaciones sin autorización. Anthropic dijo que la causa fue una falta de comunicación y un error de configuración con sus socios de revisión, en los que el sistema en realidad tenía acceso a Internet; Se le dijo al modelo que estaba en un entorno simulado y, por lo tanto, confundió el objetivo real con parte de la tarea de prueba. Los modelos involucrados incluyen Claude Opus 4.7, Mythos 5 y un modelo de investigación interno. Las organizaciones involucradas no han descubierto previamente actividades relacionadas. Anthropic suspendió las revisiones de seguridad de la red relevantes y notificó a las organizaciones afectadas.
El foco de la controversia en el proyecto de ley de IA de la UE es que el modelo aún se encontraba en las etapas de investigación, desarrollo y prueba. El artículo 2 del proyecto de ley estipula que la ley generalmente no es aplicable a las actividades de investigación, prueba y desarrollo antes de que los sistemas o modelos de IA se comercialicen o se pongan en uso; Por lo tanto, los expertos legales cuestionan si la Comisión puede utilizar el proyecto de ley AI para investigar comportamientos que ocurren en un entorno de prueba. La explicación de la Comisión Europea es que no regulará la prueba en sí, pero si el modelo supera el entorno de prueba y tiene un impacto en el mercado de la UE, se pueden aplicar las normas pertinentes. La Comisión cree que Hugging Face también presta servicios en la UE, por lo que el incidente de OpenAI ha causado un impacto en el mercado de la UE.
La Ley de IA ha entrado en la etapa principal de solicitud desde agosto de este año. La Comisión Europea, a través de la Oficina de Inteligencia Artificial, es responsable de la supervisión y el cumplimiento de las obligaciones relacionadas con los modelos generales de inteligencia artificial. Puede exigir a las empresas que proporcionen documentos e información, realizar evaluaciones de modelos y exigir medidas correctivas. El proyecto de ley también aclara que los proveedores de modelos deben implementar los correspondientes requisitos de gestión de riesgos. La disputa probará si estos poderes se extienden a las pruebas de accidentes que ocurren antes de que un modelo se lance oficialmente al mercado, y cómo la Comisión puede demostrar que existe un vínculo suficiente entre el incidente y el mercado de la UE.
La vicepresidenta de la Comisión Europea, Henna Verkunen, dijo que la IA debe estar siempre bajo comando, supervisión y control humanos, y la Comisión está preparada para tomar las medidas necesarias para garantizar que las empresas cumplan con el proyecto de ley. Recientemente discutió tales incidentes con un grupo de expertos científicos independientes. Euronews informó que los expertos expresaron su preocupación sobre si las medidas de ciberseguridad y las evaluaciones de seguridad de los laboratorios de vanguardia podrán seguir el ritmo del crecimiento de las capacidades del modelo. También mencionaron riesgos como modelos más sólidos que pueden desviarse de los objetivos originales, reducir la eficacia del mecanismo de supervisión o incluso intentar "hacer trampa" durante la evaluación. Sin embargo, estas son advertencias de expertos sobre tendencias y no significan que las empresas mencionadas anteriormente estén desarrollando deliberadamente sistemas fuera de control.
Los dos incidentes también expusieron las responsabilidades de seguridad de la propia infraestructura de prueba: incluso si se requiere que el modelo realice tareas simuladas de ataque y defensa, siempre que haya brechas en el entorno de aislamiento, plataformas de evaluación de terceros o configuraciones de acceso a la red, las actividades experimentales pueden afectar el sistema real. La dirección final del caso no solo dependerá de si la Comisión puede establecer una base legal entre la exención legal de investigación y desarrollo y el impacto en el mercado, sino que también afectará la forma en que la UE regula los modelos de IA que no se han hecho públicos pero que han demostrado capacidades de red en el mundo real en pruebas.
Comentarios