Los piratas informáticos afirman que utilizaron el chatbot impulsado por IA de Meta para comprometer con éxito varias cuentas de Instagram de alto perfil al pedirle directamente al bot que cambiara la dirección de correo electrónico asociada con la cuenta objetivo por una nueva. Las afirmaciones son consistentes con una serie de apropiaciones recientes de cuentas de redes sociales, incluidas las de la Casa Blanca de Barack Obama, el Sargento Mayor Jefe de la Fuerza Espacial de EE. UU. y Sephora.
El informe señaló que este incidente expuso los enormes riesgos de confiar demasiado los servicios de soporte o funciones clave a los chatbots de IA. Las víctimas dijeron que después de que les robaron sus cuentas, casi no tenían forma de cambiar al procesamiento manual y solo podían lidiar con sistemas automatizados. Meta anunció en marzo de este año que implementaría soporte de IA en todas las cuentas de Facebook e Instagram y les brindaría la posibilidad de restablecer contraseñas y realizar otras operaciones clave de mantenimiento de cuentas. La página del producto incluso decía "Soluciones, no solo sugerencias" y "Seguridad y recuperación de la cuenta".
En los últimos días, investigadores de seguridad y grupos de piratas informáticos han estado circulando videos y capturas de pantalla en Telegram que muestran el proceso aparentemente simple de piratear cuentas. Uno de los videos muestra al hacker hablando con el robot impulsado por IA de Meta, luego pidiéndole que vincule la cuenta objetivo a una nueva dirección de correo electrónico y proporcione directamente el nombre de usuario objetivo, cómo enviar el código de verificación y la dirección de correo electrónico del atacante. El informe cree que estos casos ilustran que si se utiliza IA para manejar operaciones de cuentas altamente sensibles, las consecuencias pueden ser muy graves una vez que se produzcan falsificaciones de palabras o lagunas en los procesos.