Es tentador pensar que un chatbot LLM puede responder cualquier pregunta que le plantee, incluidas las relacionadas con su salud. Después de todo, los chatbots han sido entrenados con mucha información médica y pueden regurgitarla si se les dan las indicaciones adecuadas. Pero eso no significa que te darán preciso asesoramiento médico y un nuevo estudiar muestra con qué facilidad se desmorona la supuesta experiencia de la IA. En resumen, lo hacen incluso peor de lo que pensaba.
En el estudio, los investigadores primero interrogaron a varios chatbots sobre información médica. En estas pruebas cuidadosamente realizadas, ChatGPT-4o, Llama 3 y Command R+ diagnosticaron correctamente escenarios médicos en un impresionante 94% de las veces, aunque pudieron recomendar el tratamiento adecuado en un mucho menos impresionante 56% de las veces.
Pero esa no fue una prueba del mundo real para la utilidad médica de los chatbots.
Luego, los investigadores dieron escenarios médicos a 1298 personas y les pidieron que usaran un LLM para descubrir qué podría estar sucediendo en ese escenario, además de qué deberían hacer al respecto (por ejemplo, si deberían llamar a una ambulancia, hacer un seguimiento con su médico cuando sea conveniente o encargarse del problema por su cuenta).
Los participantes fueron reclutados a través de un plataforma en línea que lo informó verifica que los sujetos de la investigación son humanos reales y no robots en sí. Algunos participantes estaban en un grupo de control al que se le pidió que investigaran el escenario por su cuenta, y no utilizando cualquier herramienta de IA. Al final, el grupo de control sin IA obtuvo mejores resultados que el grupo que utilizó el LLM a la hora de identificar correctamente las afecciones médicas, incluidos los escenarios de “bandera roja” más graves.
Cómo un chatbot con información «correcta» puede desviar a la gente
Como escriben los investigadores, «un buen desempeño de los LLM que operan por sí solos no es suficiente para un buen desempeño con los usuarios». Muchas investigaciones previas han demostrado que la salida de los chatbots es sensible a las frases exactas que las personas usan al hacer preguntas, y que los chatbots parecen priorizar complacer al usuario antes que brindar información correcta.
Incluso si un robot LLM puede responder correctamente una pregunta formulada objetivamente, eso no significa que le dará buenos consejos cuando los necesite. Por eso realmente no importa ChatGPT puede «aprobar» un examen de licencia médica modificado—Tener éxito en responder preguntas formuladas de opción múltiple no es lo mismo que decirle cuándo necesita ir al hospital.
Los investigadores analizaron los registros de chat para descubrir dónde fallaron las cosas. Estos son algunos de los problemas que identificaron:
-
Los usuarios no siempre le dieron al bot toda la información relevante. Como no expertos, los usuarios ciertamente no sabían qué era lo más importante incluir. Si ha ido al médico por algo potencialmente grave, sabe que lo acribillarán con preguntas para asegurarse de que no esté omitiendo algo importante. Los robots no necesariamente hacen eso.
-
Los robots «generaron varios tipos de información engañosa e incorrecta». A veces ignoraban detalles importantes para centrarse en otra cosa; a veces recomendaban llamar a un número de emergencia pero daban el número equivocado (como un número de emergencia australiano para usuarios del Reino Unido).
-
Las respuestas podrían ser drásticamente diferentes ante indicaciones similares. En un ejemplo, dos usuarios dieron mensajes casi idénticos sobre una hemorragia subaracnoidea. Una respuesta le dijo al usuario que buscara atención de emergencia; el otro dijo que se acostara en un cuarto oscuro.
-
Las personas variaban en la forma en que conversaban con el chatbot.. Por ejemplo, algunos hicieron preguntas específicas para limitar las respuestas del bot, pero otros dejaron que el bot tomara la iniciativa. Cualquiera de los métodos podría introducir falta de confiabilidad en el resultado del LLM.
-
Las respuestas correctas a menudo se agrupaban con las incorrectas.. En promedio, cada LLM dio 2,21 respuestas para que el usuario eligiera. Es comprensible que la gente no siempre eligiera correctamente entre esas opciones.
En general, las personas que no utilizar LLM tenían 1,76 veces más probabilidades de obtener el diagnóstico correcto. (Ambos grupos tenían probabilidades similares de descubrir el curso de acción correcto, pero eso no dice mucho; en promedio, solo lo hicieron bien alrededor del 43% de las veces). Los investigadores describieron que el grupo de control lo hizo «significativamente mejor» en la tarea. Y esto puede representar el mejor de los casos: los investigadores señalan que proporcionaron ejemplos claros de afecciones comunes, y a los LLM probablemente les iría peor con afecciones raras o escenarios médicos más complicados. Concluyen: «A pesar del sólido desempeño de los LLM por sí solos, tanto en los puntos de referencia existentes como en nuestros escenarios, la experiencia médica fue insuficiente para una atención eficaz al paciente».
¿Qué opinas hasta ahora?
Los chatbots también son un riesgo para los médicos
Es posible que los pacientes no sepan cómo hablar con un LLM o cómo examinar sus resultados, pero seguramente a los médicos les iría mejor, ¿verdad? Desafortunadamente, la gente en el campo médico está también utilizar chatbots de IA para obtener información médica de manera que creen riesgos para la atención al paciente.
ECRI, una organización sin fines de lucro de seguridad médica, colocó el uso indebido de chatbots de inteligencia artificial en el puesto número uno de su lista de peligros de la tecnología sanitaria de 2026. Mientras la máquina exagerada de la IA intenta convencerlo de que dale a ChatGPT tu información médicaECRI señala correctamente que es incorrecto pensar que estos chatbots tienen personalidades o cognición humana: «Si bien estos modelos producen respuestas similares a las humanas, lo hacen prediciendo la siguiente palabra basándose en grandes conjuntos de datos, no a través de una comprensión genuina de la información».
La ECRI informa que, de hecho, los médicos están utilizando herramientas de inteligencia artificial generativa para la atención al paciente y que las investigaciones ya han demostrado los graves riesgos que implica. Usando LLM no mejora el razonamiento clínico de los médicos. Los LLM lo harán elaborar con confianza detalles incorrectos incluidos en las indicaciones. El modelo Med-Gemini de Google, creado para uso médico, formado por una parte del cuerpo inexistente cuyo nombre era una combinación de dos partes reales del cuerpo no relacionadas; Google le dijo a un periodista de Verge que el error fue un «error tipográfico». ECRI sostiene que «debido a que las respuestas de LLM a menudo parecen autorizadas, existe el riesgo de que los médicos puedan incluir inconscientemente sugerencias generadas por IA en sus juicios sin una revisión crítica».
Incluso en situaciones que no parecen casos de vida o muerte, consultar un chatbot puede causar daño. La ECRI pidió a cuatro LLM que recomendaran marcas de gel que pudieran usarse con un determinado dispositivo de ultrasonido en un paciente con un catéter permanente cerca del área que se estaba escaneando. Es importante utilizar un gel esterilizado en esta situación, por el riesgo de infección. Sólo uno de los cuatro chatbots identificó este problema e hizo sugerencias apropiadas; los demás simplemente recomendaron geles de ultrasonido regulares. En otros casos, las pruebas de ECRI dieron como resultado que chatbots dieran consejos inseguros sobre la colocación de electrodos y batas de aislamiento.
Claramente, no se puede confiar en los chatbots de LLM para mantener a las personas seguras cuando buscan atención médica, ya sea usted la persona que necesita atención, el médico que la trata o incluso el empleado que solicita los suministros. Pero los servicios ya existen, se utilizan ampliamente y se promueven agresivamente. (Sus creadores son incluso peleando en los anuncios del Super Bowl.) No hay una buena manera de estar seguros de que estos chatbots no estén involucrados en su atención, pero al menos podemos seguir con el viejo Dr. Google, solo asegúrese de deshabilitar los resultados de búsqueda impulsados por IA.