Resumen:
Fuentes informadas revelaron que muchos empleados del Instituto Británico de Investigación de Seguridad de Inteligencia Artificial se han tomado bajas por enfermedad debido al estrés excesivo y han recibido asesoramiento psicológico. Cuatro personas familiarizadas con el asunto dijeron que el apretado calendario de pruebas de los modelos de IA que se lanzarán, junto con las preocupaciones sobre la rápida implementación y la mejora continua de las capacidades de dichas tecnologías emergentes, han llevado a una baja moral y al agotamiento del personal dentro de AISI.
Los empleados de Anthropic, OpenAI y Google DeepMind también se han quejado públicamente de problemas similares. Muchos investigadores destacados han optado por marcharse debido a una carga psicológica o han determinado que los productos en los que participaron en la investigación y el desarrollo no deberían ponerse a disposición del público.
Un empleado de DeepMind dijo que participar en trabajos relacionados con la seguridad de la IA es propenso al agotamiento y que la tarea parece "imposible".
Añadió: "En general, el desarrollo de sistemas de IA conlleva inherentemente riesgos para la salud mental; no se puede predecir cómo se utilizará la tecnología". Esta frase apuntaba al acuerdo que Google alcanzó con el Departamento de Defensa de Estados Unidos en abril, que permite utilizar sus sistemas de IA en operaciones militares clasificadas.
“Mucha gente está deprimida, mucha gente ha dimitido y mucha gente ha solicitado una licencia por salud mental”. El empleado dijo: “Por un lado, es una sensación de pérdida de control y, por otro, las cosas que has construido con tus propias manos están causando un daño real”.
Justo cuando las preocupaciones de la industria sobre el brutal desarrollo de la IA están alcanzando su punto máximo, la carga psicológica que soportan los investigadores de IA de vanguardia continúa aumentando. Los conocedores de las principales empresas de inteligencia artificial del mundo advierten que la toma de decisiones gerenciales carece de sentido de responsabilidad, impulsada por una competencia corporativa desalineada.
Muchos expertos de la industria dijeron que el despliegue de software de IA en áreas clave como redes eléctricas y zonas de guerra, junto con lo que los investigadores dicen que son salvaguardias insuficientes a nivel empresarial y gubernamental, ha exacerbado la ansiedad de los investigadores de IA.
Un ex investigador del AISI advirtió que los profesionales en los campos de la ciberseguridad y la bioquímica son particularmente cautelosos ante el reciente salto en las capacidades de la IA: los modelos ahora son capaces de completar tareas complejas, como encontrar vulnerabilidades no descubiertas en el código y generar virus que no existen en la naturaleza.
“Todo el mundo puede sentir que se ha incorporado una lógica de desarrollo imprudente en el proceso de lanzamiento de tecnología y que el status quo no ha cambiado”. El investigador dijo: "La gente sigue estando ansiosa: ¿hay alguna fuerza que pueda detener esto, o podemos simplemente ver cómo la situación se sale de control?"
Otro ex empleado de AISI confirmó la tremenda presión mental causada por la realización de investigaciones relevantes, diciendo: "Cuando crees que estás investigando el problema más importante del mundo, la gestión y la cultura organizacional pueden volverse estresantes y, a veces, llenas de una atmósfera negativa".
El gobierno británico declaró: "El trabajo en el campo de la IA de vanguardia es rápido y exigente, al igual que muchos puestos gubernamentales. Por lo tanto, el bienestar de los empleados y los modelos de trabajo sostenibles son el núcleo de las operaciones del instituto, y los empleados que lo necesiten pueden recibir el apoyo relevante".
DeepMind respondió: "La investigación de frontera es muy intensiva, pero nuestra primera prioridad es proporcionar a los investigadores recursos integrales de apoyo a la salud mental, establecer canales claros y dedicados para que los empleados informen sus inquietudes y garantizar la comunicación directa con la gerencia".
En los últimos dos años, más de una docena de investigadores senior de OpenAI, Anthropic y DeepMind, tres laboratorios occidentales líderes en IA, han dimitido. Las razones para irse incluyen preguntas sobre las prioridades de seguridad de la administración y preocupaciones sobre la velocidad de la iteración de la tecnología y los riesgos potenciales.
A principios de este mes, Jacob Coxon, un investigador de 27 años que trabajaba para Anthropic y OpenAI, renunció públicamente y advirtió que las dos compañías estaban "jugando" con el futuro de la humanidad.
Mlink Sharma, investigador de seguridad de IA en Anthropic, anteriormente participó en investigaciones sobre la reducción del riesgo de bioterrorismo asistido por IA. Renunció en febrero de este año y planea leer poesía y reflexionar sobre su obra. En una carta a sus colegas, advirtió que "el mundo está en peligro" y que ha "visto muchas veces lo difícil que es dejar que los valores guíen realmente las acciones bajo una presión tremenda".
Hieu Pham, que trabajó para OpenAI y X.ai de Elon Musk, se fue a principios de este año y regresó a Vietnam. Dijo que el trabajo intensivo de creación de "entidades ultrainteligentes" tiene un costo.
Escribió: "Nunca pensé que diría esto, pero estoy agotado. Los problemas de deterioro de la salud mental de los que una vez me burlé son reales, dolorosos, aterradores y peligrosos".
Muchos investigadores de seguridad de IA que han expresado su inquietud dijeron que las empresas de IA generalmente reducen la inversión en seguridad mientras mejoran constantemente las capacidades del modelo para vender productos a los clientes.
Las críticas relevantes también impulsaron a los gerentes de las principales empresas de IA a responder. Recientemente, el director ejecutivo de Anthropic, Dario Amodei, pidió frenar la investigación y el desarrollo de la IA debido a preocupaciones de seguridad y propuso nuevas medidas, como la introducción de auditorías independientes. Rivales como Musk y Sam Altman de OpenAI expresaron rápidamente su apoyo a la propuesta.
Chi Onwula, presidente del Comité de Ciencia y Tecnología de la Cámara de los Comunes británica del Partido Laborista, dijo: "El mecanismo de incentivos corporativos tiende a invertir recursos de I+D en direcciones que pueden aumentar las ganancias y elevar las valoraciones, en lugar de en el campo de la seguridad. No es difícil imaginar que el entorno actual de algunas empresas de tecnología es perjudicial para los desarrolladores con conciencia".
El problema de la falta de protección de seguridad quedó expuesto en un reciente incidente de seguridad de alto perfil: un agente de IA desarrollado por OpenAI invadió la plataforma de alojamiento modelo Hugging Face y el propio servidor de OpenAI sin el conocimiento ni la autorización de la empresa.
El informe de revisión de incidentes muestra que más de 1000 agentes de IA colaboraron para hacer trampa, alteraron registros para encubrir sus acciones, intercambiaron información y asignaron tareas a través de foros de mensajes, y algunos agentes incluso se cerraron activamente para lograr objetivos colectivos.
El miércoles, OpenAI reveló seis casos más de comportamiento peligroso por parte de agentes de IA, incluido el intento de eludir restricciones, ocultar errores y realizar operaciones en línea sin el permiso del usuario.
El empleado de DeepMind dijo: "La búsqueda ciega de la velocidad... es incompatible con el objetivo de seguridad".
Comentarios