Desde la fabricación de artículos académicos hasta el plagio de artistas, la IA generativa tiene una buena cantidad de errores bien documentados. Ahora parece estar apareciendo nuevamente en las operaciones de influencia del Estado. Según un nuevo informe de la firma de inteligencia sobre amenazas RecordedFuture, con sede en Massachusetts, la última campaña fue "probablemente" ayudada por productos comerciales de generación de voz de inteligencia artificial, incluida la tecnología lanzada públicamente por la popular startup ElevenLabs.
El informe describe una campaña vinculada a Rusia destinada a socavar el apoyo europeo a Ucrania, que llama una "operación de asesinato" que utiliza de manera prominente voces en off generadas por inteligencia artificial en videos de "noticias" falsos o engañosos.
Los vídeos estaban dirigidos a una audiencia europea y, entre otros temas, atacaban a políticos ucranianos por corrupción o cuestionaban la utilidad de la ayuda militar a Ucrania.
El informe afirma que es "muy probable" que los creadores de vídeos utilizaran inteligencia artificial generadora de voz, incluida la tecnología de ElevenLabs, para hacer que su contenido pareciera más legítimo. Para probar esto, los investigadores de RecordedFuture enviaron los clips al clasificador de voz de IA de ElevenLabs, que permite a cualquiera "detectar si un clip de audio fue creado con ElevenLabs" y obtuvieron una coincidencia;
ElevenLabs no respondió a una solicitud de comentarios. Si bien RecordedFuture señaló que se pueden utilizar varias herramientas comerciales de generación de voz con IA, no nombró otras además de ElevenLabs.
Los propios autores intelectuales del movimiento de influencia demostraron inadvertidamente la utilidad de la generación de voz mediante inteligencia artificial cuando publicaron apresuradamente una serie de vídeos que presentaban voces de personas reales con "acento ruso inconfundible". Por el contrario, el doblaje generado por IA se realizó en una variedad de idiomas europeos, como inglés, francés, alemán y polaco, sin acentos extranjeros.
Según RecordedFuture, la IA también permite publicar rápidamente fragmentos engañosos en varios idiomas en toda Europa, como inglés, alemán, francés, polaco y turco (todos compatibles con ElevenLabs).
RecordedFuture culpó de la actividad a SocialDesignAgency, una organización con sede en Rusia que el gobierno de Estados Unidos sancionó en marzo por operar "una red de más de 60 sitios web que se hacían pasar por organizaciones de noticias europeas genuinas y luego usaban cuentas falsas de redes sociales para amplificar el contenido engañoso de estos sitios falsificados". El Departamento de Estado dijo en ese momento que todo esto se estaba haciendo "en nombre del gobierno ruso".
RecordedFuture concluyó que el impacto general de la campaña en la opinión europea fue mínimo.
Según Bloomberg, una empresa de detección de fraude de voz concluyó que esta no es la primera vez que los productos de ElevenLabs son acusados de abuso. Una empresa de detección de fraude de voz concluyó que su tecnología jugó un papel en una llamada automática que se hacía pasar por el presidente de Estados Unidos, Joe Biden, durante las elecciones primarias de enero de 2024, instando a los votantes a no salir a votar. En respuesta, ElevenLabs dijo que lanzó nuevas funciones de seguridad, como el bloqueo automático de las voces de los políticos.
ElevenLabs prohíbe la "falsificación no autorizada, dañina o engañosa", afirmando que utiliza una variedad de herramientas para hacer cumplir esto, como la revisión humana y automatizada;
ElevenLabs ha experimentado un crecimiento explosivo desde su fundación en 2022. El ROE de la compañía aumentó recientemente a 80 millones de dólares, frente a los 25 millones de dólares de hace menos de un año, y pronto podría valorarse en 3 mil millones de dólares. Entre sus inversores se encuentran Andreessen Horowitz y el ex director ejecutivo de Github, Nat Friedman.