Recientemente, una demanda colectiva ampliada reveló un caso atroz de uso de inteligencia artificial para generar material de abuso sexual infantil (CSAM). El demandante no solo acusó a X Platform y su empresa de inteligencia artificial xAI de crear herramientas dañinas de inteligencia artificial para "desvestirse con un solo clic", sino que también criticó severamente a la plataforma por ocultar deliberadamente información clave del usuario durante investigaciones sobre delitos sexuales contra niños y obstaculizar las acciones de las agencias encargadas de hacer cumplir la ley.

Según la demanda, en marzo de este año, un hombre se suicidó después de que la policía descubriera que había utilizado el modelo Grok de xAI para procesar fotos de su hijastra cuando tenía 11 años en 7.000 imágenes y vídeos sexualmente explícitos. Según la denuncia, el sistema de protección de Grok estaba casi inactivo al generar estas imágenes con contenido de incesto y violación. No fue hasta que el hombre ingresó instrucciones ilegales extremadamente claras, como "violación en grupo", que el sistema activó un mecanismo de denuncia en línea al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC).

Sin embargo, el caso no se resolvió con éxito después de llamar a la policía. El equipo legal del demandante señaló que, aunque la ley exige que las plataformas proporcionen datos clave, incluidas direcciones IP, al denunciar CSAM, xAI se ha negado repetidamente a cooperar con la policía y las investigaciones del NCMEC. El documento afirma que xAI "obstruyó la investigación en todos los aspectos" durante varias semanas, lo que dificultó a los agentes del orden localizar y arrestar al sospechoso. No fue hasta que la policía finalmente confiscó el equipo del sospechoso mediante una orden de registro que se reveló la verdad del crimen, que duró varios meses e involucró miles de imágenes falsificadas por IA. El hombre se suicidó tras quedar en libertad bajo fianza, provocando un gran trauma mental a la niña víctima.

Este caso no es aislado. El abogado del demandante afirmó que la evaluación del NCMEC a principios de 2026 mostró que el 90% de los informes presentados por xAI no pudieron convertirse en acciones policiales debido a la falta de información clave. Las familias de las víctimas acusaron a xAI de anteponer las ganancias comerciales a la seguridad de los niños y de permitir que sus productos se convirtieran en herramientas para que los delincuentes dañaran a los niños a pesar de que sabían que se podía abusar de la tecnología. Ante acusaciones relacionadas, el fundador de xAI, Elon Musk, ha negado anteriormente que Grok se utilice para generar dicho contenido.

La demanda también nombra a Stability AI como demandada. La denuncia alega que el modelo de código abierto de Stability AI es el soporte técnico subyacente para muchas aplicaciones de terceros "desnudas con un solo clic", y que la empresa relajó intencionalmente las configuraciones de protección para generar contenido explícito con el fin de apoderarse de participación de mercado. Informes de investigación relevantes señalan que la familia de modelos Stable Diffusion es actualmente la principal fuerza impulsora detrás del comportamiento de "eliminación con un solo clic" en Internet.

En respuesta, un portavoz de Stability AI respondió que la empresa está comprometida a prevenir el abuso de la tecnología, especialmente la generación y difusión de CSAM, y dijo que se han implementado estrictas medidas de protección de seguridad y que cualquier acusación de que la empresa descuida la seguridad es falsa. La demanda colectiva busca actualmente incluir a todos los ciudadanos estadounidenses perjudicados por dicha tecnología. Las agencias pertinentes han advertido que con la popularidad de la IA generativa, el número de informes de explotación sexual infantil con IA ha aumentado considerablemente, y la ausencia de empresas de tecnología que ayuden en las investigaciones se ha convertido en una barrera importante para la justicia.