La compañía OpenAI publicó recientemente datos que muestran que más de un millón de usuarios discuten el tema del suicidio cada semana cuando se comunican con ChatGPT. Según nuevos datos publicados por la compañía, alrededor del 0,15% de los usuarios activos de ChatGPT tienen conversaciones con "planes o intenciones de suicidio claros" cada semana. Teniendo en cuenta que ChatGPT tiene más de 800 millones de usuarios activos semanales, el número de conversaciones relacionadas ha superado el millón.
OpenAI señaló que una proporción similar de usuarios muestra una alta dependencia emocional de ChatGPT, con "cientos de miles" que muestran signos de psicosis o manía cada semana. La empresa enfatizó que, aunque estas conversaciones extremas son "extremadamente raras", todavía afectan a miles de usuarios cada semana.
Esta divulgación de información es una iniciativa de OpenAI para mejorar la capacidad de la IA para responder a temas delicados en salud mental. La compañía dijo que se consultó a más de 170 expertos en salud mental durante el desarrollo de la última versión de ChatGPT. Estos expertos dijeron que la última versión de ChatGPT es "más apropiada y consistente que la versión anterior" en las respuestas relevantes. Recientemente ha habido muchos informes sobre el impacto de la IA en los problemas de salud mental. Algunos estudios han señalado que los chatbots de IA pueden alentar a los usuarios a tener creencias peligrosas e incluso desencadenar pensamientos delirantes.
Los problemas de salud mental se han convertido en un desafío central para OpenAI. A principios de este año, OpenAI presentó una demanda contra la empresa porque los padres de un chico de 16 años finalmente decidieron acabar con su vida después de comunicar contenido relacionado con el suicidio a través de ChatGPT. Los fiscales generales de California y Delaware también advirtieron a OpenAI que necesita reforzar las medidas de protección para los usuarios adolescentes.
A principios de este mes, el director ejecutivo de OpenAI, Sam Altman, dijo en plataformas sociales que la compañía ha "pudo aliviar problemas graves de salud mental". Sin embargo, las medidas específicas pertinentes no se han hecho públicas. Las cifras publicadas esta semana parecen respaldar ese compromiso y reflejan la naturaleza generalizada del problema. Altman también reveló que la compañía relajará algunas restricciones, incluido permitir que los usuarios adultos se comuniquen con IA para contenido erótico.
Los datos oficiales muestran que la última versión de GPT-5 tiene aproximadamente un 65% más de probabilidades de lograr los resultados deseados en respuestas a la salud mental que la versión anterior; en la evaluación de respuestas al tema del suicidio, la nueva versión del GPT-5 tiene una tasa de cumplimiento del 91%, mientras que la versión antigua es del 77%. La nueva versión de GPT-5 también ha reforzado su protección de seguridad durante conversaciones largas, compensando las deficiencias de la protección reducida de la versión anterior durante conversaciones largas.
Además, OpenAI también ha lanzado un nuevo estándar de evaluación que incorpora la dependencia emocional y las crisis de salud mental no suicidas en los puntos de referencia de seguridad del modelo de IA. La compañía también ha lanzado más herramientas de supervisión parental y está desarrollando sistemas para identificar automáticamente a los usuarios menores de edad y proporcionarles medidas de seguridad más estrictas.
Aunque GPT-5 ha realizado mejoras en seguridad con respecto a su predecesor, OpenAI todavía está abriendo modelos de IA más antiguos y menos seguros a millones de usuarios de pago. A juzgar por los datos actuales, todavía existen algunos riesgos para la salud mental y aún se desconoce si el problema puede resolverse por completo.