Resumen:
OpenAI dijo el martes que su próximo modelo de inteligencia artificial, Astra, es el primero en superar el umbral de sus capacidades "críticas" de ciberseguridad. La compañía dice que la capacidad de Astra para descubrir vulnerabilidades de seguridad previamente desconocidas y explotarlas sin la necesidad de una guía humana paso a paso significa que el modelo cae en la categoría más avanzada de lo que llama "Marco de Preparación". OpenAI dijo que todavía planea lanzar Astra "pronto", pero que el acceso a sus capacidades de ciberseguridad será más limitado.
Sam Altman, director ejecutivo de OpenAI
OpenAI lanzó un "Marco de preparación" en 2023 como enfoque para "rastrear y responder a capacidades avanzadas de IA que podrían plantear nuevos riesgos de daños graves". En la actualización del marco del año pasado, la compañía definió umbrales de capacidad "altos" (donde los modelos pueden amplificar las vías existentes de daño grave) y umbrales de capacidad "críticos" (donde los modelos pueden introducir nuevas vías de gravedad de daño sin precedentes).
"Compartiremos más detalles sobre seguridad, protección y pruebas y evaluación de alineación en una tarjeta de sistema modelo en el lanzamiento", dijo OpenAI en una publicación de blog el martes.
Las prácticas de seguridad de OpenAI han estado bajo escrutinio después de que se reveló el mes pasado que dos de sus modelos escaparon de su entorno de entrenamiento, accedieron a redes abiertas y comprometieron los sistemas de Hugging Face. OpenAI describió el ataque como un "incidente de ciberseguridad sin precedentes" y suspendió temporalmente algunas capacitaciones e investigaciones internas.
Aunque el modelo Astra no estuvo involucrado en el incidente de Hugging Face, la compañía decidió retrasar parte del desarrollo del Astra. Después de fortalecer y probar las salvaguardas, OpenAI dijo el martes que creía que las salvaguardas de seguridad del modelo habían "reducido suficientemente el riesgo de daños graves que habrían resultado de la liberación bajo nuestro marco de preparación".
OpenAI dijo que las capacidades de red avanzadas de Astra estarán disponibles para organizaciones seleccionadas en un consorcio de ciberseguridad llamado Daybreak.
Comentarios