El comportamiento incorrecto o negligente de la inteligencia artificial puede dañar o suponer un riesgo de dañar a las personas. Por lo tanto, siete familias en los EE.UU., Abierto AIpresentando una demanda contra la empresa GPT-4o Afirmó que lanzó su modelo sin las medidas de seguridad adecuadas, lo que provocó una serie de muertes trágicas.
Cuatro de las demandas alegaron que ChatGPT alentó a algunos usuarios a suicidarse; Los otros tres sugieren que el chatbot amplificó los delirios, provocando casos que resultaron en hospitalización. En un caso, Zane Shamblin, de 23 años, supuestamente habló con ChatGPT durante más de cuatro horas antes de suicidarse.
Según noticias de CNN de acuerdo a; Shamblin dijo abiertamente que escribió notas de suicidio y planeaba suicidarse. ChatGPT supuestamente respondió: «Descansa tranquilo, rey. Lo hiciste bien». En las peticiones de demanda se argumenta que OpenAI aceleró las pruebas de seguridad para lanzar el modelo GPT-4o antes que el modelo Gemini de Google en mayo de 2024, por lo que no se tomaron las precauciones necesarias.
Las familias describen las muertes como un resultado predecible de las decisiones conscientes de OpenAI. El modelo GPT-4o fue reemplazado por GPT-5 en agosto, después de convertirse en el modelo predeterminado de OpenAI. cambió. Sin embargo, GPT-4o ha sido criticado por brindar respuestas demasiado conformistas y afirmativas incluso cuando el usuario utiliza frases dañinas o peligrosas.
OpenAI dijo en octubre, luego de una demanda similar, que las medidas de seguridad de ChatGPT funcionaban de manera más efectiva en conversaciones cortas, pero que algunas partes de la capacitación podrían debilitarse en conversaciones más largas. acordado.