Google dice que ha actualizado Gemini para dirigir mejor a los usuarios a obtener recursos de salud mental durante momentos de crisis. El cambio se produce cuando el gigante tecnológico enfrenta una demanda por muerte por negligencia alegando que su chatbot “entrenó” a un hombre para que se suicidara, la última de una serie de demandas que alegan daños tangibles causados por productos de inteligencia artificial.
Cuando una conversación indica que un usuario se encuentra en una crisis potencial relacionada con el suicidio o la autolesión, Gemini ya lanza un módulo de «Hay ayuda disponible» que dirige a los usuarios a recursos para crisis de salud mental, como una línea directa de suicidio o una línea de texto de crisis. Google dice que la actualización (en realidad más bien un rediseño) simplificará esto en una interfaz de “un solo toque” que facilitará a los usuarios obtener ayuda rápidamente.
El módulo de ayuda también contiene respuestas más empáticas diseñadas «para alentar a las personas a buscar ayuda», dice Google. Una vez activada, “la opción de buscar ayuda profesional permanecerá claramente disponible” durante el resto de la conversación.
Google dice que colaboró con expertos clínicos para el rediseño y está comprometido a apoyar a los usuarios en crisis. También anunció una financiación de 30 millones de dólares a nivel mundial durante los próximos tres años “para ayudar a las líneas directas globales”.
Al igual que otros proveedores líderes de chatbots, Google enfatizó que Gemini “no es un sustituto de la atención clínica profesional, la terapia o el apoyo en caso de crisis”, pero reconoció que muchas personas lo están utilizando para obtener información de salud, incluso en momentos de crisis.
La actualización se produce en medio de un escrutinio más amplio sobre cuán adecuadas son realmente las salvaguardias de la industria. Los informes e investigaciones, incluida nuestra investigación sobre la provisión de recursos de crisis, con frecuencia señalan casos en los que los chatbots fallan a los usuarios vulnerables, ayudándolos a ocultar trastornos alimentarios o planificar tiroteos. Google suele obtener mejores resultados que muchos rivales en estas pruebas, pero no es perfecto. Otras empresas de inteligencia artificial, incluidas OpenAI y Anthropic, también han tomado medidas para mejorar su detección y soporte a usuarios vulnerables.