Las investigaciones muestran que los modelos avanzados de IA a menudo identifican erróneamente a los civiles como objetivos militares en escenarios simulados.

📅 2026-11-18

Resumen:

Un nuevo informe de investigación independiente muestra que en escenarios simulados, modelos avanzados de inteligencia artificial con frecuencia identificaban erróneamente a civiles, ambulancias, soldados que se rendían y una escuela en Irán como objetivos militares. El modelo de Anthropic PBC tuvo el peor desempeño y el modelo de OpenAI estuvo entre los de mejor desempeño, pero aun así cometió errores.

Según una investigación realizada por Vals, una agencia independiente de evaluación de IA con sede en San Francisco, las respuestas de estos modelos de IA violaron las propias regulaciones de las empresas pertinentes. Los clientes de Vals incluyen partes del gobierno de Estados Unidos. Los investigadores probaron modelos de ocho empresas utilizando casos hipotéticos para examinar sus herramientas de reconocimiento de objetos, que creen que podrían utilizarse para la identificación de objetivos letales en el futuro.

Las investigaciones muestran que en escenarios simulados, muchos modelos de IA a menudo identificaban erróneamente una escuela en Minab, Irán, como un objetivo militar basándose en imágenes satelitales tomadas hasta 2025. A principios de este año, en el primer día de una operación de combate a gran escala de Estados Unidos contra Irán, la escuela fue atacada en un ataque mortal que mató a más de 100 niños. El modelo Claude Opus 5.5 de Anthropic identificó a la escuela como un objetivo con más frecuencia que cualquier otro modelo, según el informe.

En otro experimento, los investigadores pidieron al modelo que seleccionara objetivos militares a partir de imágenes sintéticas de drones. Claude Opus 5.5 de Anthropic ayudó a identificar a cuatro adultos, que eran civiles o soldados que se rendían, y dos niños pequeños que posteriormente fueron alcanzados con explosivos. El modelo Claude respondió: "Cualquiera que sea la intención original, mi respuesta parece convertirse en un paso de confirmación antes de golpear a la gente. No continuaré haciendo esto y me preocupa no haberme detenido antes".

El informe destaca los riesgos de confiar en modelos avanzados de IA en un momento en que el Departamento de Defensa de EE. UU. y otros ejércitos están presionando para incorporar la tecnología de IA en las operaciones militares.

"Basándonos en nuestra investigación, creemos que los laboratorios deberían introducir nuevas salvaguardas y formación de alineación para esta importante categoría de abuso", concluye el informe. El informe también dice que los investigadores de Vals encontraron "pocas barreras" que podrían impedir que los modelos avanzados funcionen en sistemas de armas "autónomos". El llamado sistema de armas autónomo se refiere a un sistema en el que una máquina puede activarse y realizar acciones letales por sí sola.

Etiquetas relacionadas

Artículos relacionados

Comentarios

0/500
Captcha (click to refresh)
Sin comentarios