El objetivo de OpenAI es desarrollar una herramienta de IA que pueda optimizarse a sí misma. Ahora la empresa se está preparando para los riesgos que conlleva. El potencial de los sistemas de IA para la llamada "superación personal recursiva" se ha convertido en un foco de atención para los líderes de la industria de la IA después de los enormes avances en las herramientas de programación de OpenAI y Anthropic durante los últimos seis meses.

Demis Hassabis dijo esta semana que la humanidad se encuentra ahora al pie de la "singularidad", el momento en que la IA comienza a desarrollarse por sí sola y a superar la inteligencia humana.

OpenAI, que planea salir a bolsa este año, publicó recientemente una oferta de trabajo inusual: la compañía está buscando un investigador de seguridad para estudiar las consecuencias "cuando la IA pueda entrenar una mejor versión de sí misma".

La oferta de trabajo se publicó este mes para el equipo de seguridad de preparación de OpenAI. El salario anual total para el puesto oscila entre 250.000 y 380.000 euros y el objetivo de la contratación es "expertos técnicos experimentados para apoyar los preparativos para la superación personal recursiva".

La información de contratación dice:

“Este trabajo se basa en pensar en problemas que no existen ahora pero que pueden surgir en el futuro”.

"Por eso es especialmente importante que este puesto tenga una mentalidad mesurada y estratégica".

Los principales laboratorios de IA se apresuran a desarrollar modelos de “autoformación”

Recientemente, laboratorios como OpenAI y Anthropic han seguido mejorando las capacidades de sus modelos a un ritmo sorprendente, una mejora que se refleja en la complejidad de los problemas que pueden resolver.

Investigadores de METR, un laboratorio que estudia las capacidades de los modelos, escribieron en marzo de este año: La duración de las tareas que los modelos de IA pueden completar se duplica aproximadamente cada siete meses; estos modelos son cada vez más capaces de asumir tareas que antes habrían llevado a los humanos una gran cantidad de tiempo completarlas.

Llegaron a la conclusión de que los agentes de IA podrían asumir una "parte significativa" del trabajo de desarrollo de software que, de otro modo, llevaría a los programadores humanos días o incluso semanas.

OpenAI está promoviendo activamente esta visión: vender sus herramientas de programación Codex a empresas se ha convertido en una importante fuente de ingresos.

La empresa también espera automatizar su propio trabajo de investigación. El director ejecutivo Sam Altman dijo en octubre del año pasado que el objetivo de la compañía es tener un "pasante de investigación de IA automatizada" ejecutándose en cientos de miles de chips para septiembre de este año; y lograr un "verdadero investigador de IA automatizado" para marzo de 2028.

"Es muy posible que fracasemos en este objetivo", escribió Altman en X, "pero dado el enorme impacto potencial, creemos que es de interés público discutir este asunto de forma abierta y transparente".

En abril de este año, Anthropic publicó un estudio: uso de modelos de IA para supervisar modelos de IA más potentes. Los resultados son alentadores, pero existen limitaciones claras.

En mayo de este año, el cofundador y director de políticas de Anthropic, Jack Clark, dijo que creía que la probabilidad de lograr “I+D en IA sin participación humana” para finales de 2028 era de aproximadamente el 60%.

OpenAI se está preparando para una "IA que se mejora a sí misma"

Si los modelos de IA pudieran entrenarse a sí mismos, podría surgir una distopía de ciencia ficción: sus capacidades crecen rápidamente, escapan al control y causan daños generalizados, una preocupación de larga data del movimiento de seguridad de la IA.

Elizabeth Barnes escribió el viernes que, en su opinión, "cualquier civilización 'racional' haría avanzar el desarrollo de la IA de una manera significativamente más lenta y cautelosa".

La información de contratación de OpenAI también revela cómo la empresa se está preparando para un mundo donde "los modelos de IA pueden mejorarse rápidamente".

La oferta de trabajo menciona que el investigador puede centrarse en proteger los modelos OpenAI de ataques de "envenenamiento de datos", el acto de corromper un modelo de IA mediante datos de entrenamiento manipulados.

El empleado también puede desarrollar herramientas para explicar el proceso de pensamiento del modelo o realizar experimentos para comprender la seguridad y los peligros potenciales de estos modelos.

La oferta de trabajo también menciona que es posible que se requiera que el investigador "siga el progreso de la automatización en puestos técnicos", incluida la medición del uso de herramientas de programación de IA.

El equipo de preparación de OpenAI es responsable de evitar que la IA cause daños graves. Otras funciones en el equipo incluyen pruebas automatizadas del equipo rojo para evaluar la ciberseguridad, los riesgos biológicos y químicos y las amenazas planteadas por el "agente IA".

La publicación de trabajo del equipo de preparación dice:

"Se trata de un trabajo urgente y acelerado cuyo impacto se extenderá a toda la empresa y a la sociedad en su conjunto".