Una escuela secundaria en Oviedo, Florida, EE. UU., experimentó esta semana un bloqueo de "Código Rojo" causado por una falsa alarma de un sistema de reconocimiento de armas de inteligencia artificial. El sistema identificó erróneamente el clarinete en la mano de un estudiante como un arma. La escuela entró inmediatamente en estado de cierre de emergencia. La escuela y la policía respondieron rápidamente y finalmente confirmaron que no había ninguna amenaza real. Este propio incidente no sólo dio a los padres una falsa alarma, sino que también volvió a poner en primer plano la cuestión de la precisión y la supervisión de los cada vez más populares sistemas de seguridad de IA en las escuelas.
El incidente ocurrió en la escuela secundaria Lawton Chiles. La plataforma de detección de amenazas de IA desplegada en la escuela escaneó las imágenes en tiempo real a través de cámaras de vigilancia e "identificó" el clarinete que llevaba el estudiante como un posible arma de fuego, lo que activó una alarma del sistema. La escuela inició inmediatamente el procedimiento de bloqueo "Código Rojo" de más alto nivel, acordonando el campus y notificando a las autoridades que llegaran. El bloqueo no se levantó hasta que se confirmó que las llamadas "armas" eran en realidad instrumentos musicales. Posteriormente, el director enfatizó en un aviso a los padres que no había ninguna amenaza real a la seguridad en el campus en ese momento, pero aun así recordó a los padres que se comunicaran con sus hijos y no hicieran movimientos peligrosos como "fingir que empuñan armas" en el campus.
Según los informes, el distrito escolar del condado de Seminole, donde se encuentra la escuela, utiliza el servicio de detección de armas de fuego en la nube proporcionado por ZeroEyes, una empresa con sede en Pensilvania. El valor del contrato es de 250.000 dólares estadounidenses. El sistema está conectado a cámaras de vigilancia existentes y utiliza algoritmos de visión por computadora para identificar los contornos y características de las armas que pueden aparecer en la imagen. La información oficial afirma que su modelo de IA ha sido entrenado con cientos de imágenes de armas de fuego. Una vez que el sistema "piensa" que se ha encontrado un arma, las imágenes relevantes se enviarán al centro de monitoreo ZeroEyes para que los revisen analistas humanos antes de decidir si se emite una alerta a la escuela o a la agencia policial. Sin embargo, en este incidente, este mecanismo de "confirmación secundaria manual" obviamente no logró evitar que las falsas alarmas se convirtieran en un cierre de toda la escuela.
La plataforma ZeroEyes se ha implementado en 43 estados de los Estados Unidos y ha ingresado a muchos distritos escolares densamente poblados de Florida. La empresa lo posiciona como un método de seguridad "preventivo", con la esperanza de acortar el tiempo de respuesta a los tiroteos escolares mediante una identificación más rápida de las amenazas. Sin embargo, los datos de rendimiento revelados por la empresa son extremadamente limitados y casi no hay estadísticas detalladas sobre la precisión del reconocimiento, la tasa de falsas alarmas y la prevención exitosa de amenazas reales, lo que también dificulta que los externos evalúen su efecto real. En respuesta a las consultas de los medios, Seguridad y Protección del Condado de Seminole solo describió ampliamente el sistema como un "disuasivo eficaz", sin proporcionar ningún dato comprobado de interceptación de amenazas ni indicar con qué frecuencia ocurren falsas alarmas similares.
Como resultado, los padres y los expertos en seguridad en general han pedido una mayor transparencia y responsabilidad. Algunos padres expresaron sin rodeos sus dudas sobre si el sistema tiene "una buena relación calidad-precio". Esperan que el distrito escolar pueda proporcionar estadísticas específicas para demostrar la eficacia de este costoso programa y se preguntan por qué, si las amenazas reales se han descubierto con éxito, nunca se han revelado al público. Analistas de tecnología independientes señalaron que actualmente casi no existe una evaluación de ZeroEyes por parte de terceros, y las opiniones informadas públicamente también están más divididas. A algunos expertos en el campo de la seguridad pública les preocupa que dichos sistemas puedan proporcionar más una "ilusión de seguridad" que una reducción comprobada del riesgo.
A nivel de políticas, ZeroEyes también ha promovido legislación multiestatal a través de cabilderos registrados y ha obtenido un estatus similar de "proveedor designado" en algunos estados, lo que lo convierte en el único proveedor aprobado de detección de armas de fuego con IA en adquisiciones de seguridad en campus. Los críticos creen que este tipo de legislación en realidad desplaza a los competidores, debilita el espacio para la revisión y el debate en la contratación pública y reduce en gran medida el debate público sobre la confiabilidad de la vigilancia de la IA. Al mismo tiempo, los investigadores de seguridad y privacidad advierten que expandir ciegamente la vigilancia de IA en los campus puede causar más daño a los estudiantes que beneficios potenciales, incluida una atmósfera de alta presión causada por frecuentes falsas alarmas, la sobreexposición de los estudiantes a las fuerzas policiales y el monitoreo continuo de los comportamientos diarios.
Un asesor político de la Unión Estadounidense de Libertades Civiles señaló una vez que si el sistema tiene una alta frecuencia de falsas alarmas, no sólo creará bloqueos y pánico innecesarios, sino que también puede hacer que las escuelas y los padres se "entumezcan" ante las falsas alarmas, lo que a su vez debilita su sensibilidad ante las crisis reales. Actualmente, una gran cantidad de datos de entrenamiento para sistemas de seguridad de IA provienen de conjuntos de imágenes relativamente controlables. Sin embargo, las mochilas, instrumentos musicales, equipos deportivos y otros elementos que aparecen en entornos reales del campus tienen formas complejas y se confunden fácilmente con los contornos de las armas de fuego en el modelo. Esta vez se confundió un clarinete con una pistola. Después de este incidente, el Distrito Escolar del Condado de Seminole todavía considera este sistema como una "línea de defensa necesaria". Sin embargo, su confiabilidad y costo han desencadenado debates sociales más amplios. El mundo exterior también está esperando ver si cada distrito escolar seguirá dependiendo de este tipo de monitoreo de IA en el futuro, o recurrirá a requisitos más estrictos de divulgación y supervisión del desempeño para los proveedores.