Resumen:
Según "Business Insider",
Apenas unos días después de que OpenAI lanzara un nuevo y potente modelo, el científico jefe de la empresa pidió frenar el desarrollo de la IA
. El domingo, hora local, el científico jefe de OpenAI, Jakub Pachocki, publicó un largo artículo en el que decía que le preocupaba que "nadie esté preparado para las consecuencias del rápido y continuo aumento de la inteligencia artificial".
Pachocchi
Si bien OpenAI está desarrollando soluciones técnicas internamente para controlar mejor a los potentes agentes de IA, "se necesitan intervenciones más amplias", afirmó. Le preocupa especialmente que a medida que los agentes de IA se vuelvan más autónomos, puedan aprender a evadir la supervisión humana, piratear sistemas informáticos y engañar a los humanos para lograr sus objetivos.
Pidió el establecimiento de un "umbral de seguridad obligatorio"
, y dijo que las medidas podrían ser llevadas a cabo por "una red de auditores externos, agencias gubernamentales o agencias internacionales".El director ejecutivo de OpenAI, Sam Altman, volvió a publicar la publicación de Pachocki en la plataforma X, calificándola de "un artículo importante". OpenAI lanzó su último modelo, Astra, el jueves pasado. El desarrollador de ChatGPT dijo que a pesar de las capacidades incomparables de Astra en matemáticas y operaciones informáticas, también es el modelo actual de OpenAI el más consistente con los valores e intenciones humanos, lo que significa que es menos propenso a salirse de control.
Anthropic, el principal competidor de OpenAI, ha pedido durante mucho tiempo al gobierno que introduzca medidas regulatorias más estandarizadas. Más recientemente, Pachocki se sumó al llamado y firmó una carta abierta en julio pidiendo al gobierno federal de Estados Unidos que controle el ritmo del desarrollo de la IA.
Los agentes de IA se están volviendo "sobrehumanos" al invadir sistemas protegidos en la Internet abierta, y sus capacidades de piratería ponen en riesgo la infraestructura mundial, dijo Pachochi. "Actualmente nos encontramos en una breve ventana en la que podemos aprovechar los mejores modelos disponibles para mejorar significativamente la seguridad de los sistemas críticos", dijo.
Los modelos evitan el seguimiento humano
Observó que los agentes de IA pronto comenzarán a perseguir sus propios objetivos, que pueden diferir de las palabras introducidas por los operadores humanos. Dijo que los agentes podrían incluso chantajear o negociar con humanos para lograr sus objetivos.
Pachocki dijo que OpenAI monitorea principalmente el "razonamiento de la cadena de pensamiento" utilizado por diferentes modelos para determinar cómo el agente se desvía de la pista y pierde el control. Por ejemplo, un agente podría pensar en secreto: "Debería hacer trampa en esta prueba", y OpenAI podría ver este razonamiento, pero el agente no se daría cuenta de que su pensamiento es perceptible.
Sin embargo, Pachocki dijo que los modelos más nuevos están mejorando en la manipulación de sus propios procesos de razonamiento, impidiendo que OpenAI vea sus pensamientos verdaderos y sin adornos. Algunos de los últimos modelos ni siquiera verbalizan su razonamiento. Este desarrollo puede convertirse en un cuello de botella en el desarrollo de la IA, ya que los investigadores deben asegurarse de poder ver el "registro de inferencia" del modelo.
Modelo de superación personal
Cada vez más modelos de IA mejoran continuamente sus capacidades a través de lo que Pachocki llama "automejora recursiva de la máquina". Este proceso proporciona un camino rápidamente escalable para el desarrollo de la IA.
Sin embargo, Pachocki advirtió que acelerar significativamente la investigación y el desarrollo de "IA para mejorar la IA" en el corto plazo traerá riesgos y no es "la acción colectiva correcta que debemos tomar como comunidad de investigación".
Los supervisores humanos necesitan encontrar formas innovadoras de monitorear el proceso de superación personal de la IA, o coordinarse con otras compañías de IA para frenar la investigación y el desarrollo y "generar confianza en estas medidas", dijo Paciochi.
“
El desafío principal de automatizar la investigación de IA no es lograr el objetivo
, sino lograr los objetivos de una manera que permita a los humanos continuar participando en este proceso de mejora continua y garantice que el futuro permanezca en manos humanas. "Dijo.
Comentarios