Roblox está lanzando un sistema de inteligencia artificial que, según afirma, puede detectar signos tempranos de posible explotación infantil en chats en línea. La medida se produce cuando la plataforma enfrenta crecientes críticas y desafíos legales a sus medidas de seguridad. La herramienta, llamada Sentinel, es de uso gratuito y será de código abierto, lo que permitirá que otras plataformas la integren en sus propios sistemas de moderación.
Roblox reporta más de 111 millones de usuarios activos mensuales y la compañía dice que su inteligencia artificial ha ayudado a reportar cientos de posibles casos de explotación infantil a las autoridades. El jefe de seguridad de Roblox, Matt Kaufman, dijo a The Associated Press que si bien la compañía ha utilizado durante mucho tiempo "filtros... para bloquear malas palabras y diferentes tipos de lenguaje abusivo", esas protecciones se limitaban a "contenido dentro de una o unas pocas líneas de texto".
"Pero cuando piensas en cosas relacionadas con poner en peligro o acicalar a los niños, los tipos de comportamiento que ves se manifiestan durante un largo período de tiempo", dijo Kaufman.
Roblox dice que Sentinel está diseñado para detectar patrones en conversaciones a lo largo del tiempo, en lugar de marcar palabras o frases aisladas. El sistema analiza cada día instantáneas de un minuto de los aproximadamente 6 mil millones de mensajes de chat de la plataforma y las evalúa en contexto.
Para lograr esto, los ingenieros crearon dos índices separados: uno que contiene ejemplos de chat inofensivo y otro que contiene mensajes que violan las pautas de seguridad infantil. Según la compañía, continuamente se agrega contenido nuevo a ambos índices para ayudar a que los modelos de IA sigan mejorando.
Naren Koneru, vicepresidente de ingeniería de confianza y seguridad de Roblox, dijo: "A medida que encontremos más y más malos actores, este índice será cada vez más preciso y continuaremos actualizándolo. De esta manera, podemos tomar otra muestra y ver qué hará el usuario promedio".
Koneru explicó que el sistema monitorea la actividad continua del usuario para determinar si su comportamiento se inclina hacia interacciones seguras o hacia un comportamiento riesgoso. "Esto no sucede porque simplemente envías un mensaje, sucede porque tus interacciones diarias apuntan a uno de esos dos comportamientos", dijo.
Si la IA señala a un usuario para una revisión adicional, los moderadores humanos verifican el historial de chat completo del usuario, su lista de amigos y los juegos que ha jugado. Roblox dijo que informará los casos a las autoridades y al Centro Nacional para Niños Desaparecidos y Explotados cuando sea necesario.
Las medidas de seguridad de la plataforma se anunciaron en medio de un desafío legal de alto perfil. Una demanda presentada el mes pasado en Iowa alega que una niña de 13 años que contactó a un pervertido adulto a través de Roblox fue secuestrada y traficada a varios estados. La demanda acusa a la empresa de crear "presas fáciles para los pedófilos" a través del diseño de sus juegos.
Roblox afirma que prohíbe compartir información personal, imágenes y vídeos en los chats, y restringe los mensajes privados a usuarios menores de 13 años, a menos que uno de los padres lo permita explícitamente. Los chats no están cifrados de un extremo a otro, lo que permite a la empresa monitorear las conversaciones en busca de violaciones de seguridad.
La compañía sostiene que ningún sistema puede garantizar una protección completa, pero cree que avances en IA como Sentinel mejoran enormemente las posibilidades de detección temprana.