OpenAI dice que implementa un nuevo sistema para monitorear sus últimos modelos de inferencia de IAo3 y o4-mini para detectar señales asociadas con amenazas biológicas y químicas.Según el informe de seguridad de OpenAI, un sistema diseñado para evitar que estos modelos brinden recomendaciones que podrían dirigir a alguien a realizar ataques potencialmente dañinos.
OpenAI dijo que el rendimiento de O3 y o4-mini ha mejorado significativamente con respecto a los modelos anteriores, lo que también introduce nuevos riesgos para los atacantes maliciosos. Según los puntos de referencia internos de OpenAI, o3 es más competente a la hora de responder tipos específicos de preguntas relacionadas con amenazas biológicas. Por este motivo, y para reducir otros riesgos, OpenAI ha creado un nuevo sistema de seguimiento, que la empresa describe como un "monitor de inferencia centrado en la seguridad".
El monitor funciona con o3 y o4-mini y está personalizado para razonar sobre las políticas de contenido de OpenAI. Está diseñado para identificar señales relacionadas con riesgos biológicos y químicos e instruir al modelo para que rechace recomendaciones sobre estos temas.
Para establecer una línea de base, OpenAI hizo que los miembros del equipo rojo dedicaran aproximadamente 1000 horas a señalar conversaciones "inseguras" relacionadas con el riesgo biológico en o3 y o4-mini. OpenAI dijo que en una prueba que simuló la "lógica de bloqueo" de sus monitores de seguridad, los modelos se negaron a responder a las indicaciones de riesgo el 98,7% de las veces.
OpenAI reconoció que sus pruebas no tuvieron en cuenta a las personas que podrían probar nuevas indicaciones después de haber sido bloqueadas por un monitor, razón por la cual la compañía dijo que seguirá dependiendo en parte del monitoreo humano.
OpenAI dijo que O3 y o4-mini no excedieron el umbral de "alto riesgo" para el riesgo biológico establecido por OpenAI. Sin embargo, OpenAI dice que las versiones anteriores de o3 y o4-mini son más útiles para responder preguntas sobre el desarrollo de armas biológicas que o1 y GPT-4.
Diagrama de tarjetas de sistema o3 y o4-mini (Captura de pantalla: OpenAI)
Según el marco de prevención recientemente actualizado de OpenAI, la compañía está rastreando activamente cómo sus modelos facilitan que los usuarios malintencionados desarrollen amenazas químicas y biológicas.
OpenAI depende cada vez más de sistemas automatizados para eliminar riesgos en sus modelos. Por ejemplo, para evitar que el generador de imágenes nativo de GPT-4o cree contenido de abuso sexual infantil (CSAM), OpenAI dijo que utiliza un monitor de inferencia similar al que la compañía implementó para o3 y o4-mini.
Sin embargo, a algunos investigadores les preocupa que OpenAI no esté poniendo la seguridad donde debería estar. Metr, uno de los socios del equipo rojo de la compañía, dijo que tenían poco tiempo para comparar los engaños de o3. Mientras tanto, OpenAI decidió no publicar un informe de seguridad sobre el modelo GPT-4.1 que publicó a principios de esta semana.