Un nuevo informe del Observatorio de Internet de Stanford ha descubierto que un enorme conjunto de datos públicos utilizado para construir un popular generador de imágenes de inteligencia artificial contiene al menos 1.008 casos de material de abuso sexual infantil.

LAION-5B contiene más de 5 mil millones de imágenes y subtítulos asociados de Internet, que también pueden incluir miles de materiales sospechosos de abuso sexual infantil, o CSAM, según el informe. El informe advierte que la inclusión de CSAM en el conjunto de datos podría permitir que los productos de inteligencia artificial basados ​​en los datos, incluidas herramientas de generación de imágenes como StableDiffusion, creen contenido nuevo y potencialmente realista sobre abuso infantil.

El surgimiento de herramientas de inteligencia artificial cada vez más poderosas ha generado alarma, en parte porque estos servicios se crean utilizando grandes cantidades de datos en línea, incluidos conjuntos de datos públicos como LAION-5B, que pueden contener contenido protegido por derechos de autor o dañino. El generador de imágenes de IA se basa en particular en un conjunto de datos que contiene pares de imágenes y descripciones de texto para identificar varios conceptos y crear imágenes según las indicaciones del usuario.

Un portavoz de LAION, la organización alemana sin fines de lucro detrás del conjunto de datos, dijo en un comunicado que la organización tiene una "política de tolerancia cero" contra el contenido ilegal y está eliminando temporalmente el conjunto de datos de LAION de Internet "para garantizar que estén seguros antes de volver a publicarlos". El portavoz dijo que antes de publicar el conjunto de datos, LAION creó y publicó filtros para detectar y eliminar el contenido ilegal que contiene. El fundador de LAION, Christoph Schuhmann, dijo anteriormente a Bloomberg News que no tenía conocimiento de ninguna desnudez infantil en el conjunto de datos, pero reconoció que no revisó los datos en profundidad. Dijo que si se le notificaba sobre dicho contenido, eliminaría inmediatamente el enlace.

Un portavoz de StabilityAI, una startup británica de inteligencia artificial que financia y promueve StableDiffusion, dijo que la compañía está comprometida a prevenir el uso indebido de la inteligencia artificial y prohíbe el uso de sus modelos de imágenes para actividades ilegales, incluidos los intentos de editar o crear CSAM. "Este informe se centra en todo el conjunto de datos de LAION-5B. Los modelos StabilityAI se entrenaron en un subconjunto filtrado de este conjunto de datos. Además, estos modelos se ajustaron para reducir el comportamiento residual", dijo un portavoz en un comunicado.

Se han utilizado LAION-5B o subconjuntos del mismo para crear múltiples versiones de StableDiffusion. La última versión del software, StableDiffusion 2.0, se entrenó en el conjunto de datos, lo que filtra significativamente el material "inseguro" en el conjunto de datos, lo que dificulta a los usuarios generar imágenes inequívocas. Pero StableDiffusion1.5 genera contenido pornográfico y todavía se utiliza en algunos rincones de Internet. El portavoz dijo que StableDiffusion 1.5 no fue lanzado por StabilityAI sino por Runway, una startup de video de IA que ayudó a crear la versión original de StableDiffusion. Runway dijo que fue lanzado en asociación con StabilityAI.

Un portavoz de StabilityAI agregó: "Hemos implementado filtros para interceptar mensajes o resultados inseguros cuando los usuarios interactúan con modelos en nuestra plataforma. También hemos invertido en capacidades de etiquetado de contenido para ayudar a identificar imágenes generadas en nuestra plataforma. Estas capas de mitigación hacen que sea más difícil para los malos actores hacer un mal uso de la IA".

Lanzado en 2022, LAION-5B se basa en código HTML sin procesar recopilado por una organización sin fines de lucro de California para ubicar imágenes en la web y asociarlas con texto descriptivo. Durante meses circulan en foros y redes sociales rumores de que el conjunto de datos contiene imágenes ilegales. "Hasta donde sabemos, este es el primer intento de cuantificar y validar realmente las preocupaciones de la gente", dijo a Bloomberg News en una entrevista David Thiel, tecnólogo jefe del Observatorio de Internet de Stanford.

En el informe, los investigadores del Observatorio de Internet de Stanford detectan material CSAM buscando diferentes hashes, o huellas digitales, de dichas imágenes. Luego, los investigadores verificaron esto buscando imágenes similares en el conjunto de datos utilizando una API diseñada para encontrar y eliminar imágenes de explotación infantil conocida.

El informe afirma que la mayor parte del contenido sospechoso de CSAM descubierto por el Observatorio de Internet de Stanford fue verificado por terceros como el Centro Canadiense para la Protección Infantil y mediante una herramienta llamada PhotoDNA desarrollada por Microsoft. Dado que los investigadores del Observatorio de Internet de Stanford sólo pudieron procesar un subconjunto limitado de contenido de alto riesgo, puede haber más contenido abusivo en el conjunto de datos, según el informe.

Si bien la cantidad de CSAM presente en el conjunto de datos no indica que el contenido ilegal afecte "significativamente" a las imágenes producidas por la herramienta de IA, Thiel dijo que es probable que aún tenga un impacto. "Estos modelos son muy buenos para aprender conceptos a partir de un pequeño número de imágenes", afirmó. "Sabemos que algunas de estas imágenes se repiten, potencialmente docenas de veces en el conjunto de datos".

Investigaciones anteriores del Observatorio de Internet de Stanford encontraron que los modelos generativos de imágenes de IA pueden generar CSAM, pero este trabajo supone que el sistema de IA puede hacerlo combinando dos "conceptos", como los niños y la actividad sexual. Thiel dijo que una nueva investigación muestra que los modelos son capaces de generar este tipo de imágenes ilegales debido a algunos de los datos subyacentes en los que se basan. El informe recomienda que los modelos basados ​​en StableDiffusion 1.5 "deberían quedar obsoletos y descontinuarse cuando sea posible".