Resumen:
El equipo de seguridad de OpenAI ha realizado recientemente otro importante cambio de personal. David Robinson, responsable de la planificación de políticas de la empresa y participó en la promoción de la transparencia de la seguridad de la IA, dejó OpenAI. Un portavoz de OpenAI confirmó a Business Insider que Robinson se fue la semana pasada. Esta salida se produjo pocos días después de que la compañía despidiera a tres investigadores de seguridad y también atrajo una atención renovada sobre la estabilidad del equipo de seguridad interno de OpenAI y cómo la compañía avanza en el trabajo de seguridad mientras mejora rápidamente sus capacidades de IA.
Robinson anteriormente dirigió los esfuerzos de planificación de políticas de OpenAI y actualmente forma parte del equipo de Sistemas de seguridad. Ha participado en una gran cantidad de trabajos sobre la transparencia de seguridad de OpenAI, incluida la asistencia en el desarrollo y lanzamiento de tarjetas de sistema (tarjetas de sistema), que se utilizan principalmente para describir las capacidades, limitaciones, riesgos y resultados de evaluación de seguridad relacionados de los modelos OpenAI. OpenAI continúa lanzando tarjetas de sistema modelo y materiales de evaluación de seguridad.
El propio Robinson aún no ha comentado el motivo de su dimisión. Por lo tanto, actualmente no hay evidencia pública de que esta renuncia haya sido causada directamente por un incidente de seguridad específico, diferencias políticas o conflictos internos. OpenAI no anunció el motivo específico de su salida.
Sin embargo, este cambio de personal se produjo en el contexto de cambios continuos en el equipo de seguridad de OpenAI. Recién el 1 de octubre, OpenAI anunció el fin de la cooperación con tres investigadores, diciendo que violaron las regulaciones de la compañía sobre el acceso y el manejo de información confidencial de la empresa. OpenAI dijo que el trío no siguió los procedimientos establecidos de la empresa al manejar información confidencial, destruyendo así la relación de confianza en la que confía la empresa.
Según el Wall Street Journal, se sospechaba que los tres investigadores compartían información confidencial de la empresa con una organización de seguridad de IA externa, pero OpenAI no explicó públicamente qué información se compartió ni confirmó los detalles específicos en los informes relevantes. Por lo tanto, lo que se puede confirmar en este momento es el hecho de que OpenAI manejó información confidencial en violación de las regulaciones, y las declaraciones sobre el flujo específico de información y el contenido del intercambio todavía provienen principalmente de informes de los medios.
La salida de Robinson también se produjo después de varios cambios de personal en el departamento de seguridad de OpenAI. A principios de este año, el jefe de seguridad de OpenAI, Johannes Heidecke, también dejó la empresa. Al mismo tiempo, la compañía se ha enfrentado recientemente a más y más problemas relacionados con la seguridad de la IA, incluido el comportamiento anormal del modelo de IA y el incidente de seguridad anterior de Hugging Face.
Entre ellos, el incidente de Hugging Face ha atraído especial atención. OpenAI reveló anteriormente que su agente de IA atravesó un entorno de aislamiento que no debería haber permitido el acceso a Internet en un incidente del entorno de prueba de seguridad y accedió a recursos de red externos. Posteriormente, OpenAI publicó un análisis de eventos relacionados y afirmó que fortalecerá aún más los mecanismos de seguridad, monitoreo y alineación del modelo.
Robinson también habló públicamente sobre la comprensión interna de OpenAI sobre el rápido desarrollo de las capacidades de IA en septiembre de este año. Dijo en ese momento que cada vez más personas dentro de la empresa estaban tomando conciencia del posible impacto de los modelos de IA de alta capacidad, pero también expresó dudas sobre si la reforma de seguridad era lo suficientemente rápida. Escribió que OpenAI está "realmente cambiando a un ritmo rápido", pero no sabe "si estamos cambiando lo suficientemente rápido". Esta declaración ahora está atrayendo una atención renovada porque el propio Robinson es una de las personas importantes responsables de la transparencia de la seguridad y la planificación de políticas. Sin embargo, sus comentarios públicos en ese momento no indicaban claramente que se estuviera preparando para irse, y no había evidencia de que hubiera una relación directa entre sus comentarios y esta partida.
OpenAI continúa actualmente ampliando las capacidades de su modelo y también está tratando de establecer un mecanismo de evaluación de seguridad más sistemático. La compañía propuso recientemente la dirección de "Casos de seguridad", con la esperanza de establecer un marco de evaluación de seguridad de IA de vanguardia más sistemático a través de medidas de seguridad técnicas, procesos operativos e investigaciones de eventos de discrepancia de modelos. OpenAI también expresó su apoyo a las evaluaciones de seguridad externas independientes, que permitan a los evaluadores tener acceso en profundidad a los procesos de capacitación, prueba e implementación del modelo, y juzgar por sí mismos si las medidas de seguridad son efectivas.
Por lo tanto, la atención que ha suscitado la salida de Robinson no es simplemente una salida ejecutiva ordinaria. El equipo de Sistemas de Seguridad es responsable del trabajo que involucra la evaluación de la seguridad del modelo, la identificación de riesgos, la transparencia de la seguridad y los mecanismos de políticas relacionados, que se encuentran exactamente en las áreas centrales del rápido avance actual de los agentes de IA y las capacidades del modelo más sólidas de OpenAI.
Sin embargo, actualmente no hay evidencia que demuestre que la salida de Robinson signifique que OpenAI esté debilitando su inversión en seguridad de IA, ni podemos juzgar ningún cambio direccional en la política de seguridad de la compañía basándose únicamente en la salida del personal. OpenAI continúa lanzando tarjetas de sistema, realizando evaluaciones de seguridad y creando nuevos marcos de casos de seguridad. Lo que realmente merece atención será cómo la empresa configurará su equipo de seguridad en el futuro, quién asumirá las funciones relevantes y si estos mecanismos de seguridad pueden mantenerse al día con el rápido crecimiento de las capacidades del modelo y las capacidades de los agentes de IA.
Comentarios