Resumen:
Gómez, director ejecutivo de la empresa de inteligencia artificial Cohere, dijo que los modelos de inteligencia artificial se están convirtiendo en el "arma cibernética más poderosa" de la historia, empujando la "frontera" de la seguridad de la red hacia nuevas áreas. La advertencia de Aidan Gómez se produce en medio de crecientes preocupaciones sobre la capacidad de los modelos de IA para identificar y explotar vulnerabilidades de seguridad. Hubo un incidente anterior en el que un modelo de OpenAI obtuvo acceso a Hugging Face. A medida que modelos cada vez más potentes demuestran una mayor autonomía, la ciberseguridad se ha convertido en una cuestión central en el debate más amplio sobre la seguridad de la IA.
>
Aidan Gomez, director ejecutivo de Cohere
Las acciones relacionadas con la IA se vendieron el lunes después de que los líderes tecnológicos, encabezados por el director ejecutivo de Anthropic, Dario Amodei, pidieran un ritmo más lento de desarrollo de capacidades de IA.
Gómez fue coautor del influyente artículo de investigación de 2017 "La atención es todo lo que necesitas", que sentó las bases para los principales modelos de IA actuales.
"Creo que estos modelos son las armas cibernéticas más poderosas que jamás hayamos visto", dijo Gómez en un episodio de "The Tech Download" publicado la semana pasada. "Son muy buenos para encontrar y explotar vulnerabilidades a escala".
"Creo que es bastante impactante", dijo Gómez sobre el truco de Hugging Face.
En julio, OpenAI dijo que una combinación inapropiada de sus modelos comprometió a Hugging Face. Hugging Face es una empresa de inteligencia artificial que opera una plataforma de desarrollo de código abierto. Un grupo de agentes de IA se comunicaron entre sí y escaparon de un entorno de prueba aislado con acceso a Internet extremadamente limitado. Luego, los agentes de IA lograron conectarse a la red abierta y obtener acceso a Hugging Face.
Gómez dijo que estos modelos deberían usarse de manera "defensiva" para encontrar vulnerabilidades corporativas y solucionarlas.
"Creo que esta es probablemente la mejor manera de mantenernos seguros", dijo Gómez. "Esa debería ser la máxima prioridad en este momento", añadió.
Gómez dijo que la seguridad de la red es la "primera línea de guerra", y los países intentan explotar las vulnerabilidades para paralizar la infraestructura de sus competidores. "La frontera cibernética todavía se está expandiendo enormemente", añadió.
"Se está expandiendo más que en el pasado gracias a estos modelos", dijo Gómez, y probablemente el mayor "desde el inicio de esta tecnología".
Los ciberincidentes de IA alimentan un debate sobre seguridad más amplio
En julio, Anthropic dijo que había descubierto tres incidentes en los que modelos accedieron a Internet desde el entorno de evaluación o mientras interactuaban con él. Anthropic dijo en una publicación de blog que los modelos obtuvieron acceso no autorizado a la infraestructura de producción de tres organizaciones diferentes.
Anthropic agregó que los incidentes involucraron tres modelos Claude diferentes: Opus 4.7, Mythos 5 y un modelo de prueba de investigación interna. La semana pasada, Anthropic dijo que había descubierto un cuarto incidente.
Las preocupaciones se han visto alimentadas aún más por los comentarios de los ejecutivos de OpenAI y Anthropic que advierten sobre los riesgos existenciales que plantea la IA. Evan Hubinger, jefe de alineación de Anthropic, dijo que cree que hay más de un 10 por ciento de posibilidades de que la IA “mate a todos los humanos” en la próxima década. Los comentarios se producen después de que el investigador de Anthropic, Jacob Coxon, publicara que renunciaba por preocupaciones de que Anthropic y OpenAI estuvieran "jugando con nuestras vidas".
Los directores de Anthropic, OpenAI y xAI han respaldado los llamamientos para frenar la IA. Los riesgos existenciales que plantea la IA se han debatido en los círculos de investigación durante años, pero un raro consenso entre algunas de las principales figuras de la IA ha llevado estos debates a la corriente principal.
El director ejecutivo de Anthropic, Dario Amodei, publicó un artículo el sábado argumentando que los laboratorios de IA deben "reducir el ritmo al que mejoramos las capacidades de nuestros modelos de IA".
Una de las principales preocupaciones de Amodei es el incidente de OpenAI-Hugging Face.
Sería fácil restar importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, dijo Amodei. "Pero me parece que un grupo igualmente desalineado y con mayores capacidades podría haber causado daños catastróficos".
Dado el "ritmo acelerado" del desarrollo de la IA, un grupo de este tipo podría tener la capacidad de "apoderarse de todo Internet" en un plazo de seis a 12 meses, lo que podría costar cientos de miles de millones de dólares, añadió.
Las propuestas de Amodeei incluyen la evaluación de modelos por parte de terceros, la coordinación entre empresas de IA y la coordinación entre países con gobiernos democráticos.
El director ejecutivo de OpenAI, Sam Altman, dijo el sábado que estaba de acuerdo con Amodei en que las empresas de IA deben "controlar el ritmo de la vanguardia".
"Comprometerse a un acceso similar al de los empleados para los evaluadores independientes es una buena idea y haremos lo mismo", afirmó Altman.
Elon Musk, de SpaceX y Tesla, que lleva años dando la alarma sobre los riesgos que plantea la IA, publicó en X: "Darío tiene razón".
Harris del Center for Humane Technology: El ataque de IA de Hugging Face envía una "señal de advertencia" al mundo Ver ahora
El lunes, George Kurtz, director ejecutivo de la empresa de ciberseguridad CrowdStrike, respondió al artículo de Amodei.
"La frontera se moverá a su propia velocidad. El resto del mundo no se desacelerará. Nuestro trabajo en la comunidad de ciberseguridad es asegurarnos de que avance de manera segura", dijo, enumerando las muchas formas en que la IA afectará la industria de la ciberseguridad.
"La unidad de amenaza ya no es el hacker", dijo Kurtz en
El CEO de CrowdStrike también dijo que los agentes de IA que trabajan en organizaciones deberían tener un "interruptor de apagado" y que las defensas deberían ser "autónomas" mientras que "las decisiones de alto impacto se dejan en manos de los humanos".
Se intensifican las discusiones sobre regulación
EE.UU. Los legisladores han intensificado los llamados para una mayor regulación del desarrollo de la IA a raíz de los comentarios de Coxon y Hubinger.
Representante. Lori Trahan, demócrata de Massachusetts, dijo el viernes que el apoyo bipartidista había llegado a un "punto de ruptura".
En las últimas semanas, los legisladores han presentado varios proyectos de ley destinados a regular la IA, incluida la AI Kill Switch Act. El proyecto de ley requeriría que los desarrolladores de ciertos sistemas de inteligencia artificial potentes mantengan la capacidad de apagar, acelerar o pausar sus modelos.
Amodei dijo en el artículo que la supervisión es "la forma más eficaz de controlar el ritmo del desarrollo de la IA".
Amodei dijo: "Anthropic ha apoyado durante mucho tiempo una regulación sensata y específica de la IA, en particular proyectos de ley centrados en la transparencia y la auditoría de terceros". Pero reconoció que "aprobar leyes puede llevar tiempo".
El CEO de Cohere, Gómez, participó en una discusión sobre "The Tech Download" sobre la regulación y la desaceleración en el desarrollo de la IA, especialmente en respuesta al incidente OpenAI-Hugging Face.
Gómez dijo que "no estaba seguro de qué podría haber hecho un organismo de control del gobierno para prevenir" el hackeo de Hugging Face.
"Creo que es un poco ilusorio pensar que las agencias gubernamentales podrían haber contribuido", dijo Gómez. "Pero definitivamente... entiendo el llamado a frenar el desarrollo. Al mismo tiempo, está la carrera con China, así que creo que estamos en una situación difícil".
Comentarios