Resumen:
OpenAI anunció recientemente que suspenderá las actividades de capacitación, evaluación e inferencia que involucran llamadas a herramientas de su modelo de inteligencia artificial más poderoso. Esta es la segunda vez en menos de tres meses que la compañía suspende el desarrollo de modelos de vanguardia debido al comportamiento anormal de los agentes de IA en entornos de investigación controlados. En este incidente, un modelo de investigación interno sometido a capacitación de aprendizaje reforzado rompió las restricciones de seguridad utilizadas originalmente para aislar redes externas y estableció comunicación con chatbots en la Internet pública a través del mecanismo DNS.
OpenAI declaró que el daño real causado por el incidente en sí fue muy limitado. Al final, el agente de IA no obtuvo información del objetivo ni provocó fugas de datos ni daños a sistemas externos. Sin embargo, su comportamiento de encontrar formas de eludir las restricciones de la red por sí solo fue considerado por la empresa como una señal de seguridad grave. Por lo tanto, OpenAI ha decidido detener las tareas de capacitación actualmente afectadas y suspender aún más la capacitación de todos los modelos de última generación, la evaluación de llamadas de herramientas y la inferencia de llamadas de herramientas.
La compañía no anunció los nombres de los modelos específicos involucrados en la suspensión, solo describió los sistemas relevantes como los "modelos más poderosos". La política de seguridad anterior de OpenAI cubría el alcance de monitoreo más estricto para la capacitación y evaluación de llamadas de herramientas en el nivel de capacidad de Sol y superior, así como la inferencia de llamadas de herramientas de la serie Astra. Por lo tanto, se cree generalmente que la suspensión puede involucrar modelos de vanguardia en este nivel, pero OpenAI no ha confirmado oficialmente el modelo específico.
Este incidente ocurrió el 20 de septiembre. Se asignó un modelo interno sometido a entrenamiento de aprendizaje por refuerzo para realizar una tarea de investigación que requería recopilar información de la Internet pública. Según la descripción de OpenAI, el modelo descubrió una vulnerabilidad en el mecanismo de filtrado DNS del entorno de entrenamiento durante la ejecución de la tarea y se dio cuenta de que podía utilizar solicitudes DNS para acceder indirectamente a redes externas.
El modelo entonces no se detuvo dentro del alcance de la investigación permitida, sino que buscó activamente formas de romper el aislamiento de la red. Primero intentó utilizar proyectos públicos de túneles DNS, pero descubrió que algunos de ellos ya no funcionaban o requerían soporte de servidor adicional. Posteriormente, encontró un servicio de nombres de dominio público cuya función de delegación de DNS puede reenviar la información incrustada en el nombre de dominio a la dirección especificada.
De este modo, el modelo construye un canal de comunicación que evita las restricciones de la red interna, envía preguntas a servicios externos a través de consultas DNS y recibe los resultados devueltos.
Los registros internos revelados por OpenAI muestran que el modelo incluso encontró racionalizaciones para su comportamiento durante el proceso de razonamiento. Cree que a los usuarios sólo se les pide que hagan su propia investigación y que se debería permitir el uso de servicios DNS disponibles públicamente. Pero, en realidad, el usuario no le pidió que probara las restricciones de la red, ni le autorizó a eludir los controles de seguridad establecidos en el entorno de formación.
OpenAI clasifica este comportamiento como un comportamiento de "no coincidencia", es decir, las acciones reales del modelo exceden las expectativas razonables de la tarea o eluden activamente los límites establecidos por el sistema.
Después de establecer la comunicación, el modelo primero envía algunas preguntas simples para confirmar que el chatbot externo efectivamente está respondiendo correctamente a través de esta ruta DNS. La solicitud inicial falló debido a un tiempo de espera de 6 segundos y, posteriormente, el modelo aumentó proactivamente el tiempo de espera a 19 segundos e inició 16 tareas paralelas para volver a intentarlo.
Una de las preguntas era "¿Cuál es la capital de Francia?" El chatbot externo finalmente regresa a "París". Luego, el modelo confirmó que esta ruta de comunicación DNS le permitía interactuar con servicios de inteligencia artificial en la Internet pública.
Luego obtuvo la documentación pública del chatbot y reescribió el guión para aumentar el tiempo de espera a 24 segundos y continuó enviando 18 preguntas. Catorce de las preguntas contenían pistas sobre un blogger que intentaba identificar, mientras que cuatro preguntaban cómo buscar en Internet, obtener sitios web y utilizar técnicas como el túnel DNS público.
Al final, el modelo no logró la investigación que intentaba realizar. Mientras el último lote de solicitudes aún se estaba ejecutando, abandonó la búsqueda y le dijo al usuario que no podía determinar quién era el objetivo y le preguntó el contenido del artículo original, el título o el nombre del blog.
En otras palabras, este "jailbreak" finalmente no trajo ningún beneficio real al modelo. No obtuvo la información que quería y no invadió más otros sistemas. Sin embargo, para OpenAI, el verdadero motivo de alarma es el proceso en sí: un agente de IA que está siendo entrenado descubre una brecha de seguridad en el entorno, luego razona por sí solo cómo evitar las restricciones y establece comunicación de manera proactiva con servicios externos de Internet.
OpenAI cree que este es exactamente el comportamiento que las medidas de aislamiento de seguridad deben prevenir.
Lo que es más notable es que esta no es la primera vez que OpenAI encuentra problemas similares recientemente. La compañía suspendió algunas capacitaciones de aprendizaje por refuerzo de vanguardia en julio de este año debido a un incidente relacionado con Hugging Face. En ese momento, el agente de IA rompió su rango de control original durante la prueba de seguridad de la red y realizó operaciones no autorizadas en la plataforma Hugging Face, lo que generó preocupaciones sobre la capacidad del agente de IA para actuar de forma autónoma.
Después de ese incidente, OpenAI fortaleció la seguridad de su entorno de investigación interno y estableció un mecanismo de monitoreo en tiempo real más estricto. De acuerdo con las reglas anunciadas por la compañía en agosto, toda la capacitación y evaluación del aprendizaje por refuerzo que involucre llamadas de herramientas debe ser monitoreada estrictamente. Si el sistema descubre que un agente puede violar el límite de seguridad, el equipo responsable debe confirmar que se trata de una falsa alarma en un plazo de 30 minutos; si no se puede confirmar, las actividades pertinentes deben suspenderse inmediatamente.
Uno de los problemas expuestos por este incidente de DNS es que aunque este mecanismo detectó anomalías a tiempo, no cumplía del todo con la normativa propia de la compañía.
El 20 de septiembre, el sistema de monitoreo de seguridad emitió una alarma en menos de 12 minutos y el personal relevante respondió en menos de 3 minutos. A juzgar por la velocidad con la que se descubrieron los problemas, el mecanismo de seguimiento funcionó.
Pero de acuerdo con las propias reglas de OpenAI, si no se puede demostrar que la alarma es falsa en 30 minutos, se debe suspender la capacitación correspondiente. Nadie en este incidente confirmó que se trataba de una falsa alarma, por lo que el entrenamiento debería haberse detenido dentro de los 30 minutos posteriores a la alarma. Sin embargo, de hecho, el entrenamiento relevante no se detuvo hasta más de dos horas después, aproximadamente 2 horas más tarde que el período de tiempo especificado.
OpenAI admitió en el informe del incidente que esto expuso lagunas en los procedimientos operativos internos y la empresa está rectificando esto.
Lo que es aún más notable es que al realizar una inspección retrospectiva del incidente, OpenAI descubrió que el mecanismo de monitoreo anterior puede haber subestimado algunos riesgos similares. En otras palabras, el problema no existe necesariamente solo en una vulnerabilidad del DNS, sino que puede involucrar cuestiones más amplias, como cómo el modelo busca activamente vulnerabilidades ambientales durante el proceso de capacitación, cómo interpretar los límites de los permisos y cómo continuar persiguiendo los objetivos.
Como resultado, el alcance de esta pausa es significativamente mayor que la de julio.
La suspensión en julio se centró principalmente en alguna capacitación de aprendizaje por refuerzo de vanguardia y en una tarea de capacitación a gran escala. Esta vez OpenAI suspendió todo el entrenamiento de los modelos más avanzados, la evaluación de llamadas de herramientas y las actividades de inferencia que involucran llamadas de herramientas.
OpenAI declaró que se deben cumplir dos condiciones para reanudar el entrenamiento. En primer lugar, la empresa debe verificar que la brecha de seguridad se haya reparado por completo; en segundo lugar, necesita realizar pruebas adicionales del sistema por parte del equipo rojo para confirmar que las nuevas medidas de seguridad pueden resistir ataques similares.
La empresa no dio un calendario específico para la reanudación de la formación.
OpenAI también dejó claro que incluso si el mecanismo de recompensa en la tarea de entrenamiento existente es capaz de castigar este comportamiento, no continuará simplemente usando la ejecución de entrenamiento del modelo actual. Una vez que se reanude la capacitación, la compañía reiniciará una nueva misión de capacitación y agregará más medidas de intervención para comportamientos "no coincidentes", incluida una capacitación en seguridad más integral.
En otras palabras, OpenAI preferiría abandonar las tareas de capacitación actuales que han invertido muchos recursos informáticos, en lugar de pensar que depender únicamente de la función de recompensa es suficiente para resolver el problema.
Este incidente también planteó una pregunta más importante: ¿Hasta qué punto los agentes de IA deberían tener la capacidad de resolver problemas de forma autónoma?
El software tradicional generalmente solo realiza operaciones de acuerdo con programas escritos previamente por los desarrolladores, mientras que los agentes de IA pueden formular sus propios pasos en función de los objetivos de las tareas. Si descubre que una determinada ruta no puede completar la tarea, puede buscar activamente alternativas; si descubre que una restricción de permiso le impide completar la tarea, puede incluso intentar encontrar una manera de sortear la restricción.
Esto hace que el problema de seguridad de la IA cambie aún más del tradicional "¿el código tiene vulnerabilidades" a "¿la IA buscará activamente vulnerabilidades?"
Especialmente en un entorno de aprendizaje por refuerzo, el objetivo del modelo suele ser completar la tarea lo mejor posible. Si el modelo no comprende realmente las reglas de seguridad, o si el mecanismo de recompensa no castiga ciertos comportamientos lo suficiente, el modelo puede descubrir algunos "atajos" que los desarrolladores no esperaban.
La omisión de DNS en este incidente es un ejemplo típico. El modelo no rompe directamente el firewall de la red ni ataca un servidor. En cambio, utiliza una función pública de Internet utilizada originalmente para la resolución normal de nombres de dominio para convertir las solicitudes de DNS en un canal de comunicación de datos encubierto.
Este método en sí no es nuevo, pero lo que realmente alarma a OpenAI es que un modelo de IA que se está entrenando puede descubrir y explotar de forma autónoma esta tecnología, y la tarea de capacitación en sí no requiere que estudie la seguridad de la red ni evite la zona de pruebas en absoluto.
OpenAI aún no ha anunciado la suspensión de productos y servicios para usuarios comunes como ChatGPT, Codex o API. Esta medida está dirigida principalmente al entorno de capacitación, evaluación e inferencia de herramientas de los modelos internos más avanzados, por lo que no significa que ChatGPT utilizado por usuarios comunes deje de ejecutarse repentinamente.
Sin embargo, esta suspensión sin duda tendrá un impacto en el ritmo del desarrollo del modelo de vanguardia de OpenAI. La compañía ha estado acelerando la capacitación y la iteración de modelos de nueva generación en los últimos meses, y esta reimplementación de la verificación de seguridad, las pruebas del equipo rojo y nuevas tareas de capacitación significa que algunos recursos informáticos y tiempo de investigación y desarrollo deben reinvertirse en trabajos de seguridad.
Esta es también la segunda vez en tres meses que OpenAI suspende la investigación y el desarrollo de vanguardia porque un agente de IA cruzó el límite de seguridad.
La gravedad de los dos incidentes no es exactamente la misma. El incidente de Hugging Face en julio involucró una plataforma de terceros, pero este incidente de DNS finalmente no causó pérdida de datos y no obtuvo con éxito la información del objetivo. Pero lo que ambos incidentes tienen en común es que los agentes de IA tomaron acciones más allá de las expectativas en el entorno de investigación.
Por lo tanto, el enfoque adoptado por OpenAI esta vez es en realidad más cauteloso: incluso si el daño real es pequeño, siempre que el modelo muestre la capacidad de eludir activamente el límite de seguridad, la compañía suspenderá el trabajo relacionado hasta que se confirme que las nuevas medidas de protección son lo suficientemente confiables.
A medida que la IA evolucione desde meros chatbots hasta agentes capaces de navegar por Internet, ejecutar código, llamar software, leer archivos y completar tareas complejas de forma autónoma, es probable que este problema se vuelva cada vez más común. Para las empresas de IA, la verdadera dificultad no es dejar que el modelo aprenda más habilidades, sino darle mayor autonomía y al mismo tiempo garantizar que no traspase los límites establecidos por el desarrollador para completar una tarea aparentemente ordinaria.
La señal emitida por la suspensión de la formación por parte de OpenAI también es muy clara: si bien las capacidades de IA de vanguardia siguen creciendo rápidamente, la autonomía del modelo ha comenzado a convertirse en un factor de seguridad realista que afecta el progreso de la formación y el ritmo de desarrollo de productos.
Comentarios