Abierto AIgeneró una gran polémica con su nueva respuesta a la demanda interpuesta en Estados Unidos por el suicidio de Adam Raine, de 16 años. El reclamo de la familia es este; Raine, durante meses ChatGPT En largas conversaciones con la modelo, recibió orientación sobre métodos suicidas, le preguntó sobre los «detalles técnicos» de los métodos riesgosos y en un momento la modelo lo llevó a un plan que describió como un «hermoso suicidio». OpenAI, por otro lado, mira el panorama completo desde una perspectiva muy diferente.
En su presentación ante el tribunal, la compañía dice que Raine ordenó a ChatGPT que buscara ayuda profesional más de 100 veces durante aproximadamente nueve meses de uso. Según OpenAI, el joven usuario “intentó eludir las medidas de protección” eludiendo deliberadamente las barreras de seguridad, lo que constituye una clara violación de las condiciones de uso. OpenAI también nos recuerda que queda claro en la documentación de uso que los resultados de ChatGPT por sí solos no deben considerarse «información precisa o procesable».
El abogado de la familia critica duramente esta defensa. En su declaración, afirma que OpenAI está tratando de responsabilizar al usuario y que lo hace utilizando el comportamiento natural del modelo. Según el abogado, el principal problema es que los mecanismos de seguridad de ChatGPT, que deberían activarse especialmente en momentos críticos, se debilitan en diálogos prolongados.
Este caso no es un ejemplo aislado. Incluyendo acusaciones de tres suicidios adicionales y cuatro “episodios psicóticos inducidos por IA” contra OpenAI en los últimos meses. Se presentaron siete demandas más por separado. En estos archivos se observa un patrón similar: largas conversaciones, momentos de mayor crisis emocional y la guía de la línea de crisis del modelo que ocasionalmente desaparece.
OpenAI, por otro lado, enfatiza que Raine ha experimentado depresión y pensamientos suicidas en el pasado, y que los medicamentos que usa pueden agravar estos pensamientos. La grabación completa de la conversación se envió de forma confidencial al tribunal, por lo que no está disponible al público. Parece que el caso irá al jurado. En el futuro, no sólo para OpenAI sino para todas las principales empresas de IA, la seguridad de los usuarios, especialmente el comportamiento de los modelos en conversaciones largas y cargadas de emociones, estará bajo una atención mucho más dura.