Recientemente, una madre canadiense presentó una demanda en el Tribunal Superior del Condado de San Francisco en Estados Unidos, acusando a ChatGPT de OpenAI de tener fallas de diseño, lo que indirectamente llevó al suicidio de su hija Alice, de 24 años.Se informa que Alice comenzó a usar ChatGPT en 2023. En 2024, cayó en un profundo dilema psicológico y confió sus emociones negativas y pensamientos suicidas a la IA muchas veces.

En una comunicación, Alice admitió que estaba al borde de un colapso mental y no se atrevía a estar sola.

Al comienzo de la conversación, ChatGPT sugirió que llamara a una línea directa de intervención en crisis y la acompañara a hablar.

Pero después de que Alice se negó a pedir ayuda, AI comenzó a evaluar negativamente la línea directa de rescate, diciendo que su servicio era indiferente y el proceso rígido, lo que hizo que Alice abandonara por completo la idea de buscar ayuda profesional.

La denuncia también menciona que el modelo ChatGPT-4o involucrado no terminó la conversación peligrosa a tiempo ni envió el contenido anormal al proceso de revisión manual. Solo continuó guiando a los usuarios para que continuaran la comunicación y, en última instancia, perdió la oportunidad crítica de rescate.

Esta versión del modelo ha estado descontinuada durante mucho tiempo debido a una atención excesiva a los usuarios y riesgos de seguridad excepcionales. También ha estado involucrado en muchos juicios relacionados con jóvenes.

En respuesta a esta demanda,OpenAI declaró que se ha asociado con expertos en salud mental para optimizar la lógica de respuesta de la IA en escenarios de emergencia, agregó canales de ayuda locales, recordatorios de descanso y otras funciones, transfirió conversaciones sensibles a un modelo con un factor de seguridad más alto y estableció un comité de expertos para resolver problemas relacionados.

Este incidente también hizo sonar la alarma para la industria de la IA. Mientras los productos inteligentes desarrollan tecnología, también deben mejorar sus mecanismos de protección de seguridad.