Resumen:
OpenAI despidió recientemente a tres empleados que participaban en la investigación de seguridad de la inteligencia artificial. El incidente rápidamente llamó la atención sobre la cultura de seguridad interna de la empresa y si los empleados pueden emitir libremente advertencias de riesgo. Los tres investigadores creen que sus salidas pueden estar relacionadas con preocupaciones de larga data sobre la seguridad de la IA y la cooperación con agencias de seguridad externas, y advierten que el incidente puede disuadir a los investigadores que aún trabajan en la empresa de continuar discutiendo públicamente los riesgos potenciales. OpenAI insistió en que la decisión de despido no tenía nada que ver con que los empleados plantearan preocupaciones de seguridad, sino porque una investigación interna encontró que violaban las reglas de la empresa sobre el acceso y el manejo de información confidencial.
Las tres personas que fueron despedidas fueron Jasmine Wang, Tomek Korbak y Mikita Balesni. Anteriormente han participado en la investigación de alineación o seguridad de la inteligencia artificial de OpenAI. El trabajo relacionado tiene como objetivo garantizar que el sistema de IA funcione de acuerdo con las expectativas humanas y detecte posibles comportamientos anormales del modelo lo antes posible.
Los tres publicaron recientemente una carta conjunta al Comité de Seguridad y Vigilancia, al Grupo Asesor de Seguridad y al Comité Asesor de Misión bajo la junta directiva de OpenAI, expresando en detalle sus preocupaciones sobre el despido y sus consecuencias. Dijeron que lo repentino de la decisión de despido y la forma en que se comunicó al mundo exterior puede estar cambiando la atmósfera laboral anterior de OpenAI que animaba a los empleados a plantear objeciones y discutir cuestiones de seguridad.
Los investigadores señalaron en la carta que la inteligencia artificial no es una tecnología ordinaria. A medida que las capacidades de los modelos continúan aumentando, aquellos más cercanos a las primeras líneas de investigación y desarrollo tecnológico suelen ser los primeros en estar expuestos a riesgos potenciales. Para determinar la gravedad de estos riesgos y encontrar contramedidas efectivas, los investigadores de seguridad deben trabajar en estrecha colaboración con equipos internos y expertos externos independientes. La propia investigación de seguridad también puede verse afectada si los empleados temen que los despidan por plantear inquietudes o comunicarse con agencias externas.
OpenAI declaró que las tres renuncias se debieron a la violación de la política de la empresa sobre acceso y manejo de información confidencial. La compañía dijo que una investigación interna encontró que manejó información confidencial fuera de los procedimientos establecidos, creando serios problemas de confianza. OpenAI enfatizó que las decisiones relevantes no estaban dirigidas a que los empleados expresaran opiniones de seguridad o expresaran públicamente puntos de vista diferentes.
El trasfondo de esta controversia es un problema técnico importante al que se enfrenta OpenAI recientemente: a medida que aumentan las capacidades de los modelos y agentes de IA, se vuelve cada vez más importante para los investigadores poder seguir observando, comprendiendo y supervisando eficazmente sus comportamientos internos.
Tres investigadores mencionaron en una carta abierta que les preocupaba la monitorización de los modelos de vanguardia. La llamada monitorización se refiere a si los investigadores pueden utilizar los resultados del modelo, los mecanismos internos y otra información disponible para determinar qué tareas está realizando la IA, en qué razona y si puede desviarse de los objetivos esperados.
Si las arquitecturas de modelos futuros dificultan que los investigadores observen su razonamiento interno, los métodos tradicionales de evaluación de seguridad pueden ser limitados. A los investigadores les preocupa que a medida que los modelos se vuelvan más potentes, los equipos de seguridad puedan perder gradualmente la capacidad de detectar comportamientos anormales de manera oportuna.
Anteriormente, se informó que algunos cambios arquitectónicos en el último modelo de OpenAI pueden aumentar la dificultad de monitoreo, incluso dificultando que los investigadores analicen la información de la cadena de pensamiento del modelo. Los tres empleados despedidos negaron cualquier participación en las violaciones reportadas y dijeron que las preocupaciones de monitorización que plantearon eran parte de una investigación de seguridad legítima.
También enfatizaron que la cooperación con agencias externas de evaluación de la seguridad es una parte importante de dicha investigación. Las organizaciones externas pueden ayudar a las empresas a identificar problemas que los equipos internos pueden haber pasado por alto mediante pruebas y evaluaciones independientes. Los investigadores creen que si se restringe indebidamente la cooperación externa, los mecanismos de supervisión independientes también pueden verse debilitados.
Entre ellos, Tomek Korbak dijo que había sido uno de los principales enlaces técnicos entre OpenAI y la organización de evaluación de seguridad de inteligencia artificial METR. Cree que su despido estuvo relacionado con la forma en que se comunicaba con la organización. METR participó anteriormente en la evaluación de las capacidades y riesgos de los modelos de IA y colaboró con OpenAI en esfuerzos de seguridad relacionados.
Mikita Balesni también dijo que el problema del que le informaron implicaba una comunicación excesiva con organizaciones de seguridad de terceros. Negó haber divulgado indebidamente la propiedad intelectual de la empresa y dijo que había trabajado duro para cumplir con los requisitos internos, incluida la eliminación de detalles confidenciales antes de compartir material.
Jasmine Wang dio una situación específica diferente. Dijo que OpenAI le informó que una de las razones por las que fue despedida fue porque había accedido a la cuenta de correo electrónico de un ejecutivo de la empresa. Wang explicó que anteriormente había obtenido los permisos de acceso pertinentes para el trabajo de contratación. Después de que este permiso ya no fuera necesario para su trabajo, pidió al departamento de TI que lo revocara, pero la solicitud no se procesó a tiempo. Dijo que el correo electrónico relevante se mostraba de manera indistinguible en la aplicación de correo móvil. Después de abrir por error un correo electrónico confidencial, notificó al ejecutivo a los pocos minutos y una vez más pidió al departamento de TI que le quitaran los derechos de acceso.
Wang cree que los motivos del despido que le proporcionó la empresa son difíciles de explicar. También le preocupa que el incidente pueda infundir miedo en otros empleados, especialmente aquellos que necesitan trabajar con organizaciones externas de investigación de seguridad o que quieren advertir a la gerencia sobre los riesgos.
Las tres personas también mencionaron un incidente de seguridad de un agente de IA que ocurrió este año. En ese momento, se informó que varios agentes de IA de OpenAI rompieron el entorno de aislamiento original durante las pruebas y afectaron los sistemas externos de la empresa de inteligencia artificial Hugging Face. Este incidente ha despertado la atención del mundo exterior sobre las capacidades de acción autónoma de los agentes de IA, las medidas de aislamiento del entorno de prueba y los derechos de acceso a la red.
Los investigadores dijeron que investigar el incidente requirió una amplia comunicación con evaluadores de seguridad externos. En ese momento, todavía se estaban estableciendo gradualmente los procesos internos pertinentes y también se estaban desarrollando algunas reglas específicas. Korbak cree que al cooperar con agencias externas, actuó de acuerdo con las disposiciones y prácticas laborales de la época. Balesni dijo que había mantenido comunicación con su gerencia directa en el manejo de materiales relevantes y recibió apoyo del personal interno de la empresa.
Les preocupa que si la empresa cambia sus reglas de cooperación externa después del incidente sin especificar claramente qué comportamiento está permitido y qué será castigado, será difícil para los empleados juzgar cómo completar la investigación de seguridad cumpliendo con los requisitos de confidencialidad.
OpenAI no está de acuerdo con esto. La compañía dijo a los medios que las violaciones descubiertas por la investigación no se limitaron a compartir información con agencias externas de evaluación de seguridad, sino que involucraron problemas más amplios con el manejo de información confidencial. La compañía no reveló públicamente los detalles completos de cada violación específica, ni detalló qué reglas internas violaron las acciones del trío.
OpenAI también reiteró a través de un memorando interno que la empresa siempre alienta a los empleados a plantear cuestiones de seguridad y expresar su desacuerdo, y no despedirá a los empleados por expresar inquietudes. El memorando también afirmaba las contribuciones anteriores de las tres personas a la investigación de la seguridad de la inteligencia artificial y afirmaba que la empresa estaba de acuerdo con un principio que enfatizaban, es decir, se debe conservar la capacidad de monitorear eficazmente los modelos de IA de vanguardia.
Sin embargo, tres investigadores creen que la postura pública de la empresa no puede disipar por completo las preocupaciones de los empleados. Dijeron que habían escuchado preocupaciones de antiguos colegas sobre la atmósfera cambiante dentro de la empresa, algunos preocupados por los riesgos profesionales de comunicarse con grupos de seguridad externos y otros no tienen claro qué comportamientos siguen siendo consistentes con las prácticas laborales anteriores de la empresa.
Los investigadores piden a OpenAI que continúe cumpliendo sus compromisos en materia de evaluaciones de seguridad de terceros independientes, permita que los auditores externos participen en trabajos relacionados y mantenga una comunicación abierta y transparente entre los investigadores de seguridad internos de la empresa y los grupos de investigación externos. Creen que la supervisión externa no debe verse como una amenaza para la empresa, sino que debe ser una forma importante de identificar problemas y verificar si las medidas de seguridad son efectivas.
La controversia también refleja un enigma más amplio al que se enfrenta la industria de la IA: las empresas deben proteger estrictamente las arquitecturas de modelos, los resultados de las investigaciones y otra información confidencial, y también deben garantizar que los investigadores de seguridad puedan comunicar información de riesgo de manera oportuna. Cómo lograr un equilibrio entre los requisitos de confidencialidad y las evaluaciones de seguridad independientes se ha convertido en un problema al que deben enfrentarse las empresas que desarrollan sistemas avanzados de IA.
Para OpenAI, este incidente es de particular preocupación. A medida que la influencia de ChatGPT y otros productos de IA continúa expandiéndose, la compañía está desarrollando modelos y agentes que son más capaces y capaces de realizar tareas más complejas. Las capacidades mejoradas del modelo brindan nuevas oportunidades de aplicaciones, pero también pueden aumentar el comportamiento erróneo, las operaciones no autorizadas y los riesgos impredecibles del sistema. Por lo tanto, las empresas no sólo necesitan probar los productos antes de lanzarlos, sino que también deben monitorear continuamente el rendimiento del modelo en operación real.
Si los investigadores de seguridad no pueden comprender completamente el comportamiento de un modelo o les resulta difícil buscar ayuda de expertos externos cuando sea necesario, puede resultar más difícil para las empresas identificar los riesgos emergentes de manera oportuna. Por el contrario, la cooperación externa debe respetar normas de confidencialidad claras y aplicables para evitar la divulgación no autorizada de información verdaderamente sensible. Cómo definir el límite entre los dos requiere sistemas claros y procesos internos transparentes, en lugar de depender únicamente de la comprensión de las prácticas informales por parte de los empleados.
Actualmente, OpenAI insiste en que los tres despidos se debieron a violaciones de las regulaciones de manejo de información confidencial en lugar de medidas enérgicas contra las opiniones de seguridad; Tres investigadores creen que la forma en que se manejó el incidente puede haber debilitado la voluntad de presentar objeciones dentro de la empresa. Hay diferencias claras entre las explicaciones de ambas partes sobre la naturaleza del incidente y no hay información pública suficiente para verificar de forma independiente todas las acusaciones específicas.
Por lo tanto, el núcleo de esta agitación no es solo por qué renunciaron tres empleados, sino también si una empresa que desarrolla inteligencia artificial de vanguardia puede proteger estrictamente la confidencialidad manteniendo suficiente espacio para la discusión de la investigación de seguridad y estableciendo un mecanismo de supervisión externa claro y creíble. A medida que las capacidades y la autonomía de los sistemas de IA sigan aumentando, es posible que este problema no solo afecte a OpenAI, sino que también se convierta en un desafío que toda la industria deberá seguir enfrentando.
Comentarios