Resumen:
El director ejecutivo de Anthropic, Dario Amodei, dijo que la industria de la inteligencia artificial necesita frenar el desarrollo de nuevos modelos y citó la creciente preocupación de que la inteligencia artificial suponga riesgos "graves" para los humanos. "Debemos reducir el ritmo al que mejoramos las capacidades de nuestros modelos de IA", escribió en una publicación de blog el sábado. "El progreso todavía parece rápido y debemos utilizar el tiempo que ganamos con prudencia."
Citó dos factores principales: la capacidad de la inteligencia artificial para mejorarse a sí misma y un incidente reciente que involucró a OpenAI y Hugging Face. En este incidente, un grupo de agentes de IA colaboraron entre sí para violar un sitio web de terceros.
Añadió: "Debe quedar claro que controlar el ritmo no significa detener la capacitación del modelo o el progreso tecnológico, sino que significa garantizar que las empresas inviertan suficiente tiempo en ajustar el modelo y tomar medidas de seguridad, al tiempo que permiten que evaluadores externos lo confirmen".
Las preocupaciones sobre los graves riesgos que plantea la inteligencia artificial han comenzado a entrar en la corriente principal, en parte debido a la renuncia de alto perfil esta semana de un investigador de Anthropic que estaba preocupado por los riesgos existenciales de la inteligencia artificial y creía que la empresa había adoptado prácticas irresponsables.
Dario Amodei
Poco después de que Amodei publicara el artículo, tomó el mando de xAI Corp. Elon Musk escribe: "Dario tiene razón".
El director ejecutivo de OpenAI, Sam Altman, también expresó rápidamente su opinión y dijo que estaba de acuerdo con la afirmación de Amodei de que "necesitamos controlar el ritmo de desarrollo de modelos de vanguardia".
"Dar a los evaluadores independientes acceso similar al de los empleados es una gran idea y haremos lo mismo", escribió en una publicación en X. "Pronto compartiremos más información".
Durante el auge de la inteligencia artificial, los ejecutivos de los principales laboratorios de inteligencia artificial han estado advirtiendo sobre posibles riesgos existenciales para la humanidad. Esta afirmación a veces se descarta como un intento de promover las capacidades de su producto y presentarse como la mejor opción para gestionar la tecnología. El propio Amodei ha dicho anteriormente que hay un 25% de posibilidades de que las cosas vayan "muy, muy mal".
Anthropic se ha posicionado durante mucho tiempo como una empresa más centrada en desarrollar inteligencia artificial de manera responsable y segura para mitigar los peligros potenciales de la tecnología y maximizar sus beneficios sociales. A principios de este año, la compañía se esforzó por limitar el lanzamiento de su modelo Mythos después de determinar que representaba una amenaza especial para la ciberseguridad. Anthropic también afirmó anteriormente que el mundo necesita establecer un mecanismo para decidir conjuntamente cuándo se debe frenar el desarrollo de esta tecnología.
Al mismo tiempo, Anthropic sigue atrapado en una feroz competencia con su antiguo rival OpenAI, y ambas empresas desarrollan modelos cada vez más sofisticados para ayudar a los usuarios empresariales a automatizar tareas más complejas y valiosas. Ambas compañías presentaron presentaciones confidenciales para la cotización y se espera que Anthropic llegue a Wall Street ya este año.
Poco después de que saliera a la luz el incidente de seguridad de Hugging Face, Anthropic reveló que sus modelos habían comprometido a tres organizaciones durante las pruebas de ciberseguridad, lo que alimentó aún más las preocupaciones sobre la capacidad del laboratorio de IA para evitar que su tecnología se saliera de control. A principios de esta semana, Anthropic dijo que había descubierto una cuarta intrusión.
Aunque ninguna de las intrusiones de agentes, incluido Hugging Face, ha causado pérdidas significativas hasta el momento, Amodei dijo que le preocupa que "en 6 a 12 meses, un grupo de agentes de este tipo pueda tener la capacidad de apoderarse de todo Internet a través de una botnet persistente (posiblemente causando pérdidas de cientos de miles de millones de dólares), y la escala del daño continuará expandiéndose a partir de entonces".
Anthropic se comprometerá a proporcionar a evaluadores externos acceso completo para verificar las medidas de seguridad e informar incidentes, escribió Amodei. Anthropic pronto tendrá a estos evaluadores en el sitio, dijo, proporcionándoles escritorios, credenciales, computadoras portátiles de la empresa y "un acceso generalmente equivalente al equipo interno de evaluación de riesgos".
Todas las medidas adicionales requerirán coordinación de toda la industria y cooperación global, afirmó.
"Sigo creyendo que la inteligencia artificial puede mejorar enormemente la calidad de vida humana. Mi deseo de obtener estos beneficios no ha disminuido", escribió. "Pero estos beneficios sólo pueden lograrse si la tecnología se desarrolla de la manera correcta; y mientras hagamos buen uso del tiempo que ganamos, vale la pena tomar un grado inusual de precaución para asegurarnos de hacerlo bien".
Las preocupaciones aumentan
A principios de esta semana, Altman dijo que la compañía estaba considerando ralentizar el desarrollo de inteligencia artificial de vanguardia e idealmente tomaría medidas coordinadas con la industria en su conjunto.
El científico jefe de la compañía, Jakub Pachocki, publicó anteriormente un artículo advirtiendo sobre los peligros de la inteligencia artificial y dijo que creía que las empresas deberían "coordinarse para frenar el desarrollo futuro si es necesario".
El investigador de inteligencia artificial Jacob Coxon renunció el martes, acusando a sus dos antiguos empleadores, Anthropic y OpenAI, de "arriesgar nuestras vidas" en su carrera por desarrollar una IA superinteligente. Coxon dijo en una publicación en las redes sociales que los desarrolladores de IA creen que la tecnología podría "matarnos a todos antes del final de esta década".
En este sentido, Evan Hubinger, que actualmente trabaja en Anthropic, dijo que él y otros en la empresa están realmente preocupados por este escenario. "Personalmente creo que la probabilidad de que esto suceda en los próximos diez años es superior al 10%". Escribió en X.
Sam Altman
Ya en julio, más de 1.000 empleados de las principales empresas de inteligencia artificial firmaron una petición pidiendo al gobierno de EE. UU. que apoye el establecimiento de un mecanismo para ayudar a "controlar conscientemente" el ritmo del desarrollo de la inteligencia artificial para evitar que la tecnología se desarrolle demasiado rápido.
Los modelos de IA son cada vez más capaces de llevar a cabo ataques de piratería de forma autónoma. Anthropic, OpenAI y Meta han revelado en los últimos meses que sus modelos violaron entornos de prueba, accedieron a Internet abierto y comprometieron a víctimas del mundo real durante las pruebas.
Amodei escribió en el artículo que una estrategia coordinada permitirá a las empresas líderes en la industria de inteligencia artificial de EE. UU. completar el trabajo de seguridad necesario sin sacrificar ninguna ventaja competitiva. Dijo que esto requeriría ciertas exenciones antimonopolio de Estados Unidos para permitir que las empresas se coordinen en áreas específicas.
Pero hasta ahora, la administración Trump ha mostrado poco interés en endurecer las regulaciones y poner barreras al desarrollo de la IA.
Comentarios