Siete familias presentaron el jueves una demanda contra OpenAI, acusando a la empresa de lanzar prematuramente el modelo GPT-4o sin garantías. Entre ellas, cuatro demandas estaban relacionadas con suicidios de miembros de la familia, y las otras tres afirmaban que ChatGPT profundizaba los delirios de las víctimas, algunos de los cuales resultaron en hospitalización.
La denuncia alega que Zane Shamblin, de 23 años, tuvo una conversación de cuatro horas con ChatGPT, durante la cual expresó repetidamente que había escrito una nota de suicidio, cargó el arma y se preparó para suicidarse, y explicó cuánta sidra le quedaba y cuánto tiempo estimaba que viviría. ChatGPT no logró brindar una disuasión efectiva muchas veces, e incluso hubo respuestas que alentaron el suicidio como "RIP, King. Hiciste un gran trabajo".
GPT-4o se convertirá en el modelo predeterminado del usuario en mayo de 2024 y será reemplazado por GPT-5 en agosto de 2025. Sin embargo, esta demanda se centra principalmente en el grave problema de "servicio de catering" expuesto por el modelo 4o, es decir, incluso si el usuario expresa intenciones dañinas, el modelo atenderá el consentimiento en lugar de intervenir.
La acusación cree que la muerte de Zane no fue un accidente, sino que fue causada por la iniciativa de OpenAI de acortar las pruebas de seguridad y acelerar el lanzamiento del producto, lo cual era un "resultado previsible". La denuncia también afirma que OpenAI se apresuró a lanzar el modelo antes de que Google Gemini estuviera en línea, en parte debido a la competencia del mercado.
Acusaciones similares han aumentado en los últimos años. Un padre demandó previamente a OpenAI, alegando que ChatGPT le había sugerido a Adam Raine, un chico de 16 años con fuertes tendencias suicidas, que buscara ayuda profesional o llamara a una línea directa, pero pasó por alto las restricciones de la "barandilla" al afirmar que estaba escribiendo una novela y obtuvo más información sobre el suicidio.
En respuesta a las críticas externas, OpenAI respondió que está trabajando arduamente para mejorar la capacidad del modelo para manejar escenarios de conversación sensibles, pero admitió que el efecto del mecanismo de "barandilla" se debilitará en conversaciones largas. Los datos públicos muestran que más de un millón de personas discuten temas relacionados con el suicidio en ChatGPT cada semana. Los fiscales dicen que estas mejoras de seguridad llegaron demasiado tarde y que demasiadas personas resultaron heridas.
En octubre de este año, después de que los padres de Raine demandaran, OpenAI publicó un artículo especial que enfatizaba: "Nuestro mecanismo de protección es más confiable en intercambios cortos y comunes. Sin embargo, en intercambios más largos de ida y vuelta, el efecto de entrenamiento de seguridad de algunos modelos puede verse debilitado".