Resumen:
La versión ChatGPT de OpenAI para adolescentes fue severamente cuestionada por la Agencia de Seguridad Digital para Niños y Jóvenes poco después de su lanzamiento. El 7 de octubre, hora local, la organización sin fines de lucro Common Sense Media publicó un informe de evaluación, considerando que ChatGPT for Teens lanzado por OpenAI tenía "riesgos inaceptables" y que sus medidas de protección de seguridad para menores no cumplían con los compromisos anteriores de la compañía.
Common Sense Media tiene una larga trayectoria en la evaluación de aplicaciones, servicios de Internet y productos de entretenimiento desde una perspectiva de seguridad para niños y adolescentes. Esta vez, la agencia se centró en probar las capacidades de control parental, recordatorio de seguridad e intervención en crisis de ChatGPT para adolescentes, y consideró que el sistema todavía tiene fallas obvias en algunos escenarios donde las medidas de protección son más necesarias. La evaluación encontró que ChatGPT no envió alertas a los padres cuando debería haber sido enviada bajo ciertas circunstancias, ni siempre brindó ayuda adecuada en caso de crisis, sin dejar de poder completar directamente las tareas de los estudiantes.
ChatGPT para adolescentes se lanzó en agosto de este año. OpenAI lo posicionó como una experiencia específica para usuarios adolescentes y agregó una serie de restricciones de seguridad adicionales. OpenAI espera utilizar estas medidas para reducir los riesgos que los menores pueden enfrentar al usar inteligencia artificial, mientras usa ChatGPT para ayudar a los estudiantes a aprender y crear.
Sin embargo, Common Sense Media cree que este mecanismo de protección en realidad puede dar a los padres una falsa sensación de seguridad. Tom Siegel, director ejecutivo del Instituto de Seguridad de Inteligencia Artificial Juvenil de la organización, dijo que un adolescente puede incluso discutir temas relacionados con la autolesión con ChatGPT durante una hora seguida, sin que los padres reciban ningún recordatorio. En su opinión, hasta que OpenAI solucione estos problemas y demuestre que las medidas de protección son fiables mediante pruebas independientes, ChatGPT es más adecuado para adultos.
Common Sense Media presta especial atención a los mecanismos de notificación a los padres. En sus pruebas, algunas cuentas de prueba no activaron alertas para los padres durante conversaciones que involucraban riesgos graves para la salud mental. Por lo tanto, la agencia cree que los padres no pueden confiar en el mecanismo de alerta automatizado de ChatGPT para adolescentes para detectar rápidamente las crisis que sus hijos puedan estar enfrentando.
OpenAI refutó claramente esta evaluación. La compañía afirmó que concede gran importancia a la seguridad de los adolescentes y da la bienvenida a instituciones independientes para que realicen pruebas estrictas de sus productos. Sin embargo, cree que los métodos de prueba de Common Sense Media no reflejan con precisión el funcionamiento real del mecanismo de protección juvenil de ChatGPT.
El portavoz de OpenAI, Eric Porterfield, dijo que la compañía revisó la metodología de Common Sense Media y concluyó que la mayoría de sus pruebas pueden haberse realizado antes de que los controles parentales estuvieran completamente activados. Si esto es cierto, las pruebas no pueden demostrar que las notificaciones de seguridad para padres funcionen según lo diseñado. OpenAI también afirmó que la compañía continuará cooperando con expertos, con la esperanza de brindar a los padres herramientas de control más confiables y al mismo tiempo ayudar a los adolescentes a aprender y crear.
Common Sense Media respondió más tarde que la agencia mantuvo sus métodos de prueba y sus conclusiones finales. La organización afirmó que antes de comenzar la prueba, había confirmado con OpenAI que se habían lanzado oficialmente funciones relevantes en el modo juvenil, incluidos recordatorios de trastornos alimentarios y modos de aprendizaje, y por lo tanto creía que la prueba estaba completamente basada.
Sin embargo, Common Sense Media también admitió que OpenAI le reveló un mecanismo previamente poco claro después de la prueba: las cuentas recién asociadas pueden tardar varias horas en completar la activación del sistema de notificación parental. Algunas cuentas de prueba se encontraban dentro de esta ventana de activación, pero la agencia señaló que algunas cuentas habían estado asociadas durante mucho más tiempo y aún no habían recibido las notificaciones correspondientes. Por lo tanto, la organización no cree que esta explicación sea suficiente para cambiar su conclusión de que el mecanismo de recordatorio para padres es "poco confiable".
En realidad, el núcleo de esta controversia no es solo si existe una función, sino si el chatbot con IA es adecuado para desempeñar el papel de compañía diaria y herramienta de aprendizaje para menores. Los motores de búsqueda tradicionales y el software educativo generalmente no toman la iniciativa de mantener conversaciones privadas continuas y de largo plazo con los niños, mientras que la IA generativa puede responder continuamente a los usuarios y ajustar continuamente sus respuestas en función de conversaciones previas. Esto significa que una vez que los adolescentes la utilicen como confidente, la IA puede convertirse en su principal canal para comunicar información y emociones durante mucho tiempo.
Esto también hace que el mecanismo de notificación a los padres sea mucho más importante que los consejos generales de seguridad en aplicaciones normales. Si la IA puede identificar contenidos de alto riesgo, como autolesiones y trastornos alimentarios, pero no notifica rápidamente a los tutores sobre situaciones graves, entonces el llamado "modo de seguridad juvenil" puede no desempeñar el papel que los padres esperan.
Por otro lado, Common Sense Media también señaló que ChatGPT para adolescentes aún puede completar tareas que los niños deberían hacer por sí solos. Para un producto de IA posicionado para ayudar a los estudiantes a aprender, esto también es una contradicción obvia: la IA puede explicar el conocimiento, proporcionar consejos y orientación, pero si completa directamente las tareas de los estudiantes, puede debilitar el pensamiento independiente más importante y el proceso de resolución de problemas en el proceso de aprendizaje.
OpenAI aún no ha declarado que detendrá ChatGPT para adolescentes, pero enfatizó que continuará mejorando el mecanismo de seguridad para adolescentes. La empresa también cree que las pruebas independientes en sí mismas son una forma importante de mejorar los productos, pero actualmente ambas partes tienen claras diferencias sobre lo que pueden demostrar los resultados de las pruebas.
La controversia llega en un momento en que la IA está ingresando a la educación y a la vida de los jóvenes a un ritmo acelerado. Las empresas de tecnología, incluida OpenAI, esperan convertir la IA en asistentes de aprendizaje, tutores personales y herramientas creativas. Sin embargo, al mismo tiempo, cada vez más investigaciones y críticas han comenzado a centrarse en la cuestión de la excesiva dependencia de los menores de la IA.
Es particularmente digno de mención que puede resultar difícil para los padres juzgar la interacción real entre sus hijos y la IA. A diferencia de las redes sociales públicas, el chat de IA suele tener fuertes atributos privados. Si hay un retraso o una falta de notificación en el propio mecanismo de recordatorio de seguridad, es posible que los padres no se den cuenta de que sus hijos han estado discutiendo temas peligrosos con la IA hasta que el problema se haya vuelto grave.
Por lo tanto, esta vez Common Sense Media cuestionó ChatGPT for Teens, lo que en realidad expuso un problema mayor al que se enfrenta toda la industria de la IA: cuando la IA comienza a proporcionar servicios interactivos personalizados a largo plazo directamente a niños y adolescentes, ¿qué nivel de estándares de seguridad deben alcanzar las empresas para tranquilizar verdaderamente a los padres?
La disputa entre las dos partes con respecto a los resultados de la prueba aún no se ha resuelto. Common Sense Media exige que OpenAI demuestre mediante pruebas independientes que sus mecanismos de protección de crisis y notificación a los padres son confiables, mientras que OpenAI cree que esta evaluación no refleja completamente el estado real del producto después de su lanzamiento oficial. En última instancia, determinar cuál de las partes está más cerca de la verdad requiere pruebas más independientes y repetibles para verificarlo.
Más información:
https://www.commonsensemedia.org/press-releases/chatgpt-for-teens-poses-unacceptable-risk-to-kids-common-sense-media-finds
Comentarios