Los grupos extremistas han comenzado a experimentar con el uso de inteligencia artificial, en particular la IA generativa, para crear una gran cantidad de nueva propaganda. A los expertos ahora les preocupa que el uso cada vez mayor de herramientas de inteligencia artificial generativa por parte de los grupos revierta el trabajo que las grandes empresas tecnológicas han realizado en los últimos años para evitar que su contenido ingrese a Internet.

"Nuestra mayor preocupación es que si los terroristas comienzan a usar IA generativa para manipular imágenes a escala, eso podría muy bien destruir el intercambio de hash como solución", dijo a WIRED Adam Hadley, director ejecutivo de TechAgainstTerrorism. "Este es un riesgo enorme".

Las plataformas de las grandes tecnologías han estado trabajando durante años para crear bases de datos de contenido extremista violento conocido, las llamadas bases de datos hash, que se comparten entre plataformas para eliminar rápida y automáticamente dicho contenido de Internet. Pero según Hadley, sus colegas están descubriendo alrededor de 5.000 casos de contenido generado por IA cada semana. Incluyen imágenes compartidas en las últimas semanas por grupos vinculados a Hezbolá y Hamás que parecen tener como objetivo influir en la narrativa que rodea la guerra entre Israel y Hamás.

"En aproximadamente seis meses, la posibilidad de que estén manipulando imágenes para descifrar algoritmos hash es realmente preocupante", dijo Hadley. "La comunidad tecnológica ha hecho un trabajo tan bueno en la construcción de tecnologías automatizadas que los terroristas bien podrían comenzar a utilizar IA genética para eludir el trabajo que ya se ha hecho".

Otros ejemplos descubiertos por investigadores de TechTerrorism en los últimos meses incluyen un canal de mensajería neonazi que comparte imágenes generadas por IA creadas utilizando mensajes racistas y antisemitas pegados en aplicaciones de Google Play Store; y un individuo de extrema derecha que crea una "guía de guerra de la memoria" que aconseja a otros cómo utilizar herramientas de imágenes generadas por IA para crear memorandos extremistas. El "Estado Islámico" publicó una guía de soporte técnico sobre cómo utilizar de forma segura las herramientas generadas por IA; un usuario de un servicio de archivos pro-Estado Islámico afirmó haber utilizado un sistema de reconocimiento automático de voz (ASR) basado en inteligencia artificial para transcribir la propaganda árabe del Estado Islámico; y un medio de comunicación pro-Al Qaeda publicó varios carteles con imágenes que probablemente fueron creadas utilizando una plataforma generada por IA.

Además de detallar la amenaza que representan las herramientas de IA generativa que pueden modificar imágenes, TechTerrorism ha publicado un nuevo informe que enumera otras formas en que las herramientas de IA genética podrían usarse para ayudar a grupos extremistas. Estos incluyen la capacidad de convertir rápida y fácilmente contenido promocional a varios idiomas utilizando herramientas de traducción automática, o la capacidad de crear mensajes personalizados a escala para impulsar los esfuerzos de reclutamiento en línea. Pero Hadley cree que la inteligencia artificial también nos brinda la oportunidad de estar un paso por delante de los grupos extremistas y utilizar la tecnología para prevenir ataques.

"Trabajaremos con Microsoft para investigar si hay formas de utilizar nuestros archivos de datos para crear un sistema de detección de IA genética para contrarrestar la amenaza emergente de que la IA genética se utilice a gran escala para contenido terrorista", dijo Hadley. "Creemos que la IA genética se puede utilizar para defenderse contra usos hostiles de la IA genética".

La asociación se anunció hoy antes de la Cumbre de Líderes del Llamado de Christchurch en París. La Cumbre Christchurch Call for Leaders es una campaña para eliminar de Internet el contenido terrorista y extremista.

"El uso de plataformas digitales para difundir contenido extremista violento es un tema urgente con consecuencias en el mundo real", dijo el vicepresidente y presidente de Microsoft, Brad Smith, en un comunicado. "Al combinar las capacidades antiterroristas de la tecnología con la inteligencia artificial, esperamos ayudar a crear un mundo más seguro tanto en línea como fuera de línea".

Si bien empresas como Microsoft, Google y Facebook tienen sus propias divisiones de investigación de IA y probablemente ya estén desplegando sus propios recursos para abordar el problema, la nueva iniciativa ayudará en última instancia a las empresas que no pueden abordar estos problemas por sí solas.

"Esto es especialmente importante para plataformas más pequeñas que no tienen sus propios centros de investigación de IA", afirmó Hadley. "Incluso ahora, con las bases de datos hash, las plataformas más pequeñas pueden verse inundadas con este contenido".

La amenaza del contenido generado por IA no se limita a los grupos extremistas. El mes pasado, la Internet Watch Foundation, una organización británica sin fines de lucro dedicada a erradicar el contenido de explotación infantil de Internet, publicó un informe que detalla el creciente número de material de abuso sexual infantil (CSAM, por sus siglas en inglés) creado por herramientas de inteligencia artificial en la web oscura.

Los investigadores descubrieron que en solo un mes, se publicaron más de 20.000 imágenes generadas por IA en un foro CSAM de la web oscura, 11.108 de las cuales fueron consideradas por los investigadores de la IWF como las más propensas a ser delictivas. Como escribieron los investigadores del IWF en el informe: "Estas imágenes de inteligencia artificial pueden ser tan convincentes que son indistinguibles de las imágenes reales".