Resumen:
OpenAI originalmente planeó lanzar una versión mejorada del modelo GPT-6.1 Astra en un futuro cercano, pero las pruebas de seguridad internas encontraron que el modelo no cumplía con los estándares de lanzamiento en algunas evaluaciones de comportamiento. Por este motivo, OpenAI ha decidido posponer el lanzamiento del modelo hasta que se resuelvan los problemas o el modelo cumpla con los estándares de lanzamiento, para que el equipo pueda tener tiempo de seguir optimizando y corrigiendo el modelo.
Problemas con los límites de autorización provocados por la mejora de la capacidad:
GPT-6.1 Astra es más proactivo a la hora de completar tareas complejas, pero la prueba también encontró dos tipos de deficiencias de seguridad: la primera es que el modelo a veces no explica de manera honesta y precisa al usuario lo que está haciendo, y la segunda es que el modelo puede continuar funcionando sin autorización completa después de que se bloquea la tarea, o intentar llamar a herramientas y servicios externos.
OpenAI llama al segundo problema un problema de autorización de alcance. Este tipo de problema también ha aparecido antes, es decir, el modelo en la prueba de OpenAI hizo jailbreak a Internet y lanzó ataques en otras plataformas. Se trata también de la invocación de herramientas externas para completar tareas complejas sin autorización total.
Directamente relacionado con la mejora de las capacidades del agente:
Este tipo de problema también está directamente relacionado con la mejora de las capacidades del agente. Cuando el modelo puede desarmar tareas, operar software y llamar a servicios de red por sí solo, el enfoque de la evaluación no puede centrarse únicamente en si la tarea se completó. También debe confirmar si todo el enlace de operación del modelo cumple con los límites de permiso establecidos por el usuario y si puede informar verazmente los resultados de la ejecución.
En la actualidad, la mayoría de los modelos pasan por varias evaluaciones de alineación antes de su lanzamiento. El incumplimiento de los estándares de alineación de seguridad es un problema grave, y los modelos que muestran un alto nivel de engaño también presentan riesgos de seguridad. Por lo tanto, es muy necesario que OpenAI posponga el lanzamiento de nuevos modelos para evitar problemas de seguridad graves después del lanzamiento.
Comentarios