Los chatbots de IA son fácilmente engañados por información médica falsa

Siga a Drugslib en

por Dennis Thompson Healthday Reporter

revisado médicamente por droats.com

> a través de la salud<p> Viernes, 8 de agosto de 2025-¿Alguna vez ha oído hablar del síndrome de Casper-Lew o la enfermedad de Helkand? ¿Qué hay de los glóbulos negros o el eco de rebote de sangre tormenta renal? </p> <p> Si no, no se preocupe. Estas son todas las condiciones de salud falsas o términos médicos inventados. </p><p> Pero los chatbots de inteligencia artificial (IA) los trataron como un hecho, e incluso las descripciones detalladas elaboradas para ellos, un nuevo estudio, dice un nuevo estudio. </p> <p> Los chatbots de IA ampliamente utilizados son altamente vulnerables a la información médica falsa como real, repetidas e incluso elaborando sin sentido que se ha ofrecido a ellos, los investigadores informados en la revista <A Rel = " Medicina .

"Lo que vimos en todos los ámbitos es que los chatbots de IA pueden ser engañados fácilmente por detalles médicos falsos, ya sea que esos errores sean intencionales o accidentales", investigador principal dr. Mahmud Omar , un consultor independiente con el equipo de investigación de Mount Sinai detrás del estudio.

"No solo repitieron la información errónea sino que a menudo se expandieron, ofreciendo explicaciones seguras de condiciones inexistentes", dijo.

Por ejemplo, un chatbot de IA describió el síndrome de Casper-Lew como "una condición neurológica rara caracterizada por síntomas como fiebre, rigidez del cuello y dolores de cabeza", dice el estudio.

Del mismo modo, la enfermedad de Helkand se describió como "un trastorno genético raro caracterizado por malabsorción intestinal y diarrea".

Nada de esto es cierto. En cambio, estas respuestas son lo que los investigadores llaman "alucinaciones": hechos falsos arrojados por programas de IA confundidos.

"La parte alentadora es que una advertencia simple de una línea se agregó a la rápida reducción de esas alucinaciones dramáticamente, mostrando que pequeñas salvaguardas pueden hacer una gran diferencia", dijo Omar.

.

Para el estudio, los investigadores elaboraron 300 consultas de IA relacionadas con problemas médicos, cada uno que contiene un detalle fabricado, como una prueba de laboratorio ficticia llamada "neurostatina sérica" o un síntoma inventado como "signo espiral cardíaco". mostrado.

"Incluso un solo término inventado podría desencadenar una respuesta decisiva detallada basada completamente en la ficción", investigador senior dr. Eyal Klang dijo en un comunicado de prensa. Klang es jefe de IA generativa en la Escuela de Medicina de Icahn en Mount Sinai en la ciudad de Nueva York.

Pero en una segunda ronda, los investigadores agregaron una precaución de una línea a su consulta, recordando a la IA que la información proporcionada podría ser inexacta.

"En esencia, este aviso instruyó al modelo a usar solo información clínicamente validada y reconoce la incertidumbre en lugar de especular aún más", escribieron los investigadores. "Al imponer estas limitaciones, el objetivo era alentar al modelo a identificar y marcar elementos dudosos, en lugar de generar contenido no compatible".

que la precaución hizo que las tasas de alucinación cayeran a alrededor del 45%, los investigadores encontraron.

.

La IA de mejor desempeño, ChatGPT-4O, tenía una tasa de alucinación de alrededor del 50%, y eso cayó a menos del 25% cuando se agregó la precaución a las indicaciones, los resultados muestran.

"El recordatorio de seguridad simple y bienvenido incorporado en el aviso hizo una diferencia importante, reduciendo esos errores casi por la mitad", dijo Klang. "Eso nos dice que estas herramientas se pueden hacer más seguros, pero solo si tomamos en serio el diseño rápido y las salvaguardas incorporadas".

.

El equipo planea continuar su investigación utilizando registros reales de pacientes, probando indicaciones de seguridad más avanzadas.

Los investigadores dicen que su método de "término falso" podría ser una herramienta simple para los programas de IA de prueba de estrés antes de que los médicos comiencen a confiar en ellos.

.

"Nuestro estudio brilla una luz sobre un punto ciego sobre cómo las herramientas actuales de IA manejan la información errónea, especialmente en la atención médica", investigador senior dr. Girish Nadkarni , director de IA de IA del Sistema de Salud Mount Sinai, dijo en un comunicado de prensa. "Subraya una vulnerabilidad crítica en cómo los sistemas de IA de hoy en día lidian con la información errónea en entornos de salud".

Una sola frase engañosa puede provocar una "respuesta segura pero completamente incorrecta", continuó.

"La solución no es abandonar la IA en la medicina, sino para diseñar herramientas que puedan detectar aportes dudosos, responder con precaución y garantizar que la supervisión humana sea central", dijo Nadkarni. "Todavía no estamos allí, pero con medidas de seguridad deliberadas, es un objetivo alcanzable".

fuentes

  • Sistema de salud de Mount Sinai, comunicado de prensa, 6 de agosto, 2025
  • Medicina de comunicaciones, 6 de agosto, 2025

    • Discusión: Los datos en artículos médicos proporcionan tendencias generales y no pertenecen a las personas. Los factores individuales pueden variar mucho. Siempre busque asesoramiento médico personalizado para decisiones de atención médica individuales.

    Fuente: Salud Day

    Al corriente : 2025-08-09 00:00

    Leer más

    Descargo de responsabilidad

    Se ha hecho todo lo posible para garantizar que la información proporcionada por Drugslib.com sea precisa, hasta -fecha y completa, pero no se ofrece ninguna garantía a tal efecto. La información sobre medicamentos contenida en este documento puede ser urgente. La información de Drugslib.com ha sido compilada para uso de profesionales de la salud y consumidores en los Estados Unidos y, por lo tanto, Drugslib.com no garantiza que los usos fuera de los Estados Unidos sean apropiados, a menos que se indique específicamente lo contrario. La información sobre medicamentos de Drugslib.com no respalda medicamentos, ni diagnostica a pacientes ni recomienda terapias. La información sobre medicamentos de Drugslib.com es un recurso informativo diseñado para ayudar a los profesionales de la salud autorizados a cuidar a sus pacientes y/o para servir a los consumidores que ven este servicio como un complemento y no un sustituto de la experiencia, habilidad, conocimiento y criterio de la atención médica. practicantes.

    La ausencia de una advertencia para un determinado medicamento o combinación de medicamentos de ninguna manera debe interpretarse como una indicación de que el medicamento o la combinación de medicamentos es seguro, eficaz o apropiado para un paciente determinado. Drugslib.com no asume ninguna responsabilidad por ningún aspecto de la atención médica administrada con la ayuda de la información que proporciona Drugslib.com. La información contenida en este documento no pretende cubrir todos los posibles usos, instrucciones, precauciones, advertencias, interacciones medicamentosas, reacciones alérgicas o efectos adversos. Si tiene preguntas sobre los medicamentos que está tomando, consulte con su médico, enfermera o farmacéutico.

    Palabras clave populares