OpenAI implementa una "sala de control" de IA: bloquea la salida del modelo durante hasta 35 segundos

Resumen:

OpenAI anunció recientemente que ha implementado un sistema de control central llamado "Sala de control" en su infraestructura de investigación interna. Cuando la tarea del modelo causa riesgos de seguridad o de seguridad de la red,

el sistema puede bloquear el modelo para que no continúe emitiendo durante hasta 35 segundos después de recibir el comando de parada

Según OpenAI, Control Room puede realizar un seguimiento uniforme de tareas de investigación, como la capacitación en aprendizaje por refuerzo, la evaluación de modelos, el muestreo de agentes y el procesamiento de datos, y está vinculado al sistema de monitoreo del comportamiento del modelo.

El modelo de monitoreo verificará el proceso de razonamiento y operación del modelo entrenado. Una vez que se descubren posibles problemas, se puede emitir una alarma o suspender la tarea directamente según el grado de riesgo

Durante el proceso de ejecución específico, el sistema de monitoreo enviará el ID de la tarea que debe detenerse a la Sala de control. La próxima vez que la tarea relevante solicite la inferencia del modelo, el motor de inferencia verificará su permiso de ejecución; si la tarea ha sido marcada como finalizada, el sistema rechazará la solicitud para evitar que el modelo siga generando contenido.

OpenAI declaró que

Actualmente, pasan hasta 35 segundos desde el momento en que la Sala de control recibe el comando de detención hasta que la tarea no puede continuar ejecutándose en absoluto.

El sistema también utiliza un mecanismo de "cierre fallido". Si la Sala de control falla, se apaga o se manipula, todas las solicitudes de inferencia relacionadas se rechazarán de forma predeterminada hasta que se restablezca el servicio. Este mecanismo ahora cubre todas las tareas de investigación de modelos de vanguardia de OpenAI y se está ampliando a otras tareas de investigación. OpenAI dijo que sus servicios modelo externos adoptan una arquitectura técnica más centralizada y actualmente tienen capacidades de respuesta de emergencia y de implementación fuera de línea correspondientes.