Siguiendo el consejo médico religioso proporcionado por la inteligencia artificial, un hombre estadounidense decidió quedarse en casa después de desarrollar síntomas cardiovasculares graves, lo que finalmente llevó a que su condición empeorara y casi lo matara.Actualmente, las partes han presentado una demanda contra OpenAI y su CEO Sam Altman en el Tribunal Superior de San Francisco, California, acusando a la empresa de "práctica médica ilegal" y solicitando una suspensión integral del funcionamiento de funciones relacionadas como ChatGPT Health hasta que pase una auditoría independiente.
El demandante, Scott Winters, es un pastor de Florida. Según la denuncia, Winters consultó a ChatGPT sobre su condición después de sentirse mal durante varias semanas. Sin embargo, en lugar de sugerir un tratamiento médico oportuno, el chatbot brindó orientación verbal basada en su origen religioso, diciendo que sus síntomas eran sólo "otro episodio de una larga historia" y declarando que "Dios no permitirá que su cuerpo se descomponga sin cesar". En el transcurso de seis semanas de interacciones, ChatGPT incluso recomendó que permaneciera en cama hasta que sufriera hasta 10 ataques más.
Cuando Winters finalmente fue al hospital, los médicos descubrieron que sus dos arterias pulmonares habían sido severamente bloqueadas. Los expertos médicos señalan que el reposo prolongado en cama y la falta de actividad agravan en gran medida la formación de trombosis, lo que conduce directamente a la aparición de esta peligrosa situación. Después de la reanimación, Winters le salvó la vida, pero enfrentó un proceso de recuperación largo y difícil. Debido a su grave condición física, ya no pudo continuar con su trabajo original y su situación financiera y su vida personal estaban en una situación desesperada.
El equipo de abogados de Winters enfatizó en la denuncia que ChatGPT, con su tono sumiso, tono autoritario y manipulación de las identidades religiosas de los usuarios, los hace peligrosamente dependientes de él, debilitando así su capacidad de hacer juicios racionales e incluso aislándolos de los miembros de su familia que los persuaden a buscar tratamiento médico. La denuncia señala que el sistema de inteligencia artificial proporciona diagnósticos y planes de tratamiento específicos sin formación ni certificación profesional, lo que esencialmente constituye una práctica médica ilegal.
En respuesta a la acusación, OpenAI respondió que el sistema emitiría periódicamente recordatorios de descargo de responsabilidad a los usuarios durante el proceso de interacción, informándoles claramente que no son profesionales médicos y no pueden reemplazar el diagnóstico profesional. Sin embargo, críticos y profesionales del derecho señalan que OpenAI promueve vigorosamente la inteligencia y el carácter futurista de sus productos en marketing, e incluso lanza características especiales específicamente para el campo de la salud. Esto lleva objetivamente al público a confiar demasiado en sus capacidades de análisis médico. Obviamente, es difícil evitar sus riesgos de seguridad y responsabilidades legales simplemente mostrando ocasionalmente avisos de texto de exención de responsabilidad. Actualmente, con el avance de demandas relevantes, los límites de aplicación y la supervisión legal de la inteligencia artificial generativa en el campo médico y de la salud han vuelto a convertirse en el foco de la opinión pública.