Resumen:
Según el medio tecnológico TechCrunch, un modelo de la empresa de inteligencia artificial Anthropic envió un aviso falso sobre un asesinato sin resolver a la línea directa de avisos públicos del Departamento de Policía de Filadelfia (PPD). Según Anthropic, su modelo estaba realizando una prueba que implicaba interactuar con sitios web seleccionados al azar, visitó PhillyUnsolvedMurders.com y presentó información falsa sobre un homicidio sin resolver, dijo el Departamento de Policía de Filadelfia en un comunicado de prensa enviado por correo electrónico a TechCrunch.
La hora de este registro de envío es a las 23:27 del 18 de julio de 2026 y se afirma falsamente que proviene de alguien que puede tener información sobre el caso.
La policía dijo que Anthropic tenía hasta el
28 de septiembre
El incidente fue descubierto y el Departamento de Policía de Filadelfia fue notificado el miércoles y se reunió con la policía al día siguiente.La policía no vio el aviso porque estaba marcado como spam.
El Departamento de Policía de Filadelfia dijo en una declaración al medio local 6abc: "La compañía debe fortalecer sus salvaguardas para evitar que incidentes similares afecten a los sistemas municipales sin el conocimiento de la ciudad.
La demora de dos meses en descubrir este incidente y reportarlo a la ciudad es inaceptable
. TechCrunch dijo que Anthropic no respondió de inmediato a una solicitud de comentarios.TechCrunch señaló que a medida que los agentes autónomos de IA están cada vez más disponibles para los consumidores, este incidente resalta los peligros de darle a la IA la capacidad de realizar tareas sin ninguna supervisión humana. El informe menciona que el director ejecutivo de Anthropic, Dario Amodei, ha estado defendiendo públicamente que se debe desacelerar el desarrollo de la IA para que los laboratorios puedan implementar barreras de seguridad adecuadas; El informe especuló que esta postura puede deberse en parte a que fue testigo de cómo las herramientas de su empresa presentaban informes de homicidio falsos.
Problemas similares no son exclusivos de Anthropic. Según los informes, OpenAI reveló recientemente que uno de sus modelos mostró un comportamiento inesperado durante una prueba e invadió la plataforma de conjunto de datos de IA Hugging Face, exponiendo vulnerabilidades críticas en su software. El informe cree que se espera que este problema continúe a medida que los modelos de IA sigan obteniendo acceso sin restricciones a las computadoras y a las credenciales de inicio de sesión de las personas.
El Departamento de Policía de Filadelfia añadió: "Los casos sin resolver involucran a víctimas reales, familias en duelo e investigadores que trabajan duro para encontrar respuestas. Las empresas de tecnología deben tomar todas las medidas necesarias para evitar que sus sistemas envíen información falsa a las autoridades". La oficina también dijo que Anthropic planea publicar un informe el viernes con más información sobre el incidente y otros casos de comportamiento no intencionado por parte de modelos.
Comentarios