Resumen:
OpenAI planea permitir que organizaciones de terceros evalúen los riesgos de seguridad en una etapa más temprana del ciclo de desarrollo de los modelos de inteligencia artificial (IA), una medida destinada a continuar los esfuerzos para abordar las preocupaciones en torno al daño potencial de la IA. El desarrollador de ChatGPT anunciará en una publicación de blog el martes que planea que agencias externas realicen evaluaciones de seguridad técnica durante la capacitación, evaluación e implementación de nuevos modelos de IA.
>
OpenAI también enumera las prioridades que cree que son necesarias para que dichas evaluaciones sean efectivas, incluidos "fuertes mecanismos independientes, rigor científico, prácticas de seguridad sólidas y una rendición de cuentas clara".
Lama Ahmad, responsable de la mayor parte del trabajo de revisión de seguridad de la compañía en cooperación con expertos externos, dijo que anteriormente, OpenAI generalmente presentaba principalmente dichas instituciones para realizar evaluaciones de seguridad y evaluar las capacidades del modelo antes de su lanzamiento.
“A medida que aumentan los riesgos e impactos potenciales, además del despliegue, también queremos asegurarnos de que se consideren aspectos críticos como la capacitación y la evaluación”, dijo Ahmad en una entrevista.
Para algunos de los trabajos más delicados, OpenAI puede permitir que evaluadores externos entren a las instalaciones de la empresa para realizar evaluaciones, una práctica que la empresa ha probado en el pasado, dijo Ahmad.
Dario Amodei, director ejecutivo del competidor de OpenAI, Anthropic PBC, pidió recientemente a la industria de la IA que apoye la desaceleración del desarrollo y dijo que se adoptarán nuevas medidas de seguridad, incluida la introducción de agencias de evaluación de terceros. El director ejecutivo de OpenAI, Sam Altman, respaldó más tarde el enfoque. Anthropic dijo a fines de la semana pasada que traería evaluadores de Accenture para probar la seguridad de sus modelos de inteligencia artificial de vanguardia.
OpenAI dijo en una publicación de blog que la compañía está en conversaciones con instituciones que pueden estar involucradas en tales evaluaciones. Ahmad dijo que los objetivos de la negociación incluyen tanto instituciones que han cooperado en el pasado como instituciones que no han cooperado antes, incluidas las instituciones de investigación de IA METR y Redwood Research. OpenAI había encargado previamente a estas dos instituciones que investigaran la intrusión de su modelo en el sistema Hugging Face.
"Los laboratorios de IA tienen la responsabilidad de crear las condiciones para una revisión efectiva y al mismo tiempo proteger la información confidencial", dijo OpenAI en una publicación de blog.
Comentarios