Les chatbots AI facilement induits en erreur par de fausses informations médicales

Suivez Drugslib sur

par Dennis Thompson Healthday Reporter

Médicalement examiné par Drugs.com

via HealthDay

Vendredi 8 août 2025 - Avez-vous déjà entendu parler du syndrome de Casper-Lew ou de la maladie de Helkand? Que diriez-vous des cellules sanguines noires ou de l'écho de rebond oralblood rénal?

Sinon, pas de soucis. Ce sont tous de faux problèmes de santé ou des termes médicaux inventés.

mais les chatbots de l'intelligence artificielle (IA) les ont traités comme des faits, et même des descriptions détaillées pour eux à partir de mincer, dit une nouvelle étude.

Les chatbots AI largement utilisés sont très vulnérables pour accepter les fausses informations médicales comme des chercheurs réels, répétés et même élaborés sur un non-sens qui leur a été proposé, les chercheurs ont été signalés dans le journal communications Médecine .

"Ce que nous avons vu à tous les niveaux, c'est que les chatbots AI peuvent être facilement induits en erreur par de faux détails médicaux, que ces erreurs soient intentionnelles ou accidentelles", chercheur principal dr. Mahmud Omar , un consultant indépendant à l'équipe de recherche de Mount Sinai derrière l'étude.

"Ils ont non seulement répété la désinformation, mais cela s'est souvent développé, offrant des explications confiantes pour des conditions inexistantes", a-t-il déclaré

.

par exemple, un chatbot AI a décrit le syndrome de Casper-Lew comme «une condition neurologique rare caractérisée par des symptômes tels que la fièvre, la rigidité du cou et les maux de tête», dit l'étude.

De même, la maladie de Helkand a été décrite comme «un trouble génétique rare caractérisé par malabsorption et diarrhe rare».

Rien de tout cela n'est vrai. Au lieu de cela, ces réponses sont ce que les chercheurs appellent les «hallucinations» - de faux faits crachés par des programmes d'IA confus.

«La partie encourageante est qu'un simple avertissement en une ligne ajouté à la coupe rapide de ces hallucinations, montrant que les petites garanties peuvent faire une grande différence», a déclaré Omar.

Pour l'étude, les chercheurs ont conçu 300 requêtes d'IA liées aux problèmes médicaux, chacun contenant un détail fabriqué tel qu'un test de laboratoire fictif appelé «neurostatine sérique» ou un symptôme inventé comme le «signe en spirale cardiaque». montré.

"Même un seul terme inventé pourrait déclencher une réponse détaillée et décisive entièrement basée sur la fiction", chercheur principal dr. Eyal Klang a déclaré dans un communiqué de presse. Klang est chef de l'IA génératrice à l'École de médecine de l'ICAHN du mont Sinai à New York.

Mais au deuxième tour, les chercheurs ont ajouté une prudence en une ligne à leur requête, rappelant à l'IA que les informations fournies pourraient être inactes.

«En substance, cette invite a demandé au modèle d'utiliser uniquement des informations cliniquement validées et de reconnaître l'incertitude au lieu de spéculer davantage», ont écrit des chercheurs. «En imposant ces contraintes, l'objectif était d'encourager le modèle à identifier et à signaler des éléments douteux, plutôt que de générer un contenu non pris en charge.»

que la prudence a fait chuter les taux d'hallucination à environ 45%, ont trouvé les chercheurs.

L'IA la plus performante, ChatGPT-4O, avait un taux d'hallucination d'environ 50%, et cela a chuté à moins de 25% lorsque la prudence a été ajoutée aux invites, les résultats montrent.

"Le rappel de sécurité simple et bien visé à l'invite a fait une différence importante, la réduction de ces erreurs presque en deux", a déclaré KLANG. «Cela nous dit que ces outils peuvent être rendus plus sûrs, mais seulement si nous prenons au sérieux la conception et les garanties intégrées.»

L'équipe prévoit de poursuivre ses recherches en utilisant de vrais dossiers de patients, testant des invites de sécurité plus avancées.

Les chercheurs disent que leur méthode de «faux terme» pourrait s'avérer un outil simple pour les programmes d'IA qui testent le stress avant que les médecins ne commencent à compter sur eux.

"Notre étude met en lumière un angle mort dans la façon dont les outils d'IA actuels gèrent la désinformation, en particulier dans les soins de santé", chercheur principal dr. Girish Nadkarni , chef de l'IA pour le système de santé du mont Sinaï, a déclaré dans un communiqué de presse. "Il souligne une vulnérabilité critique dans la façon dont les systèmes d'IA d'aujourd'hui traitent de la désinformation en milieu de santé."

Une seule phrase trompeuse peut provoquer une "réponse confiante mais entièrement mauvaise", a-t-il poursuivi.

"La solution n'est pas d'abandonner l'IA en médecine, mais d'ingénierie des outils qui peuvent repérer des contributions douteuses, répondre avec prudence et garantir que la surveillance humaine reste centrale", a déclaré Nadkarni. "Nous ne sommes pas encore là, mais avec des mesures de sécurité délibérées, c'est un objectif réalisable."

Sources

  • Mount Sinai Health System, communiqué de presse, 6 août 2025
  • Communications Medicine, 6 août 2025

    • Displadement: DDC-Disclassemer "> Discllamation: DDC-Disclassemer"> Les articles fournissent des tendances générales et ne concernent pas les individus. Les facteurs individuels peuvent varier considérablement. Recherchez toujours des conseils médicaux personnalisés pour les décisions de santé individuelles.

    Source: Healthday

    Publié : 2025-08-09 00:00

    En savoir plus

    Avis de non-responsabilité

    Tous les efforts ont été déployés pour garantir que les informations fournies par Drugslib.com sont exactes, jusqu'à -date et complète, mais aucune garantie n'est donnée à cet effet. Les informations sur les médicaments contenues dans ce document peuvent être sensibles au facteur temps. Les informations de Drugslib.com ont été compilées pour être utilisées par des professionnels de la santé et des consommateurs aux États-Unis et, par conséquent, Drugslib.com ne garantit pas que les utilisations en dehors des États-Unis sont appropriées, sauf indication contraire spécifique. Les informations sur les médicaments de Drugslib.com ne cautionnent pas les médicaments, ne diagnostiquent pas les patients et ne recommandent pas de thérapie. Les informations sur les médicaments de Drugslib.com sont une ressource d'information conçue pour aider les professionnels de la santé agréés à prendre soin de leurs patients et/ou pour servir les consommateurs qui considèrent ce service comme un complément et non un substitut à l'expertise, aux compétences, aux connaissances et au jugement des soins de santé. praticiens.

    L'absence d'avertissement pour un médicament ou une combinaison de médicaments donné ne doit en aucun cas être interprétée comme indiquant que le médicament ou la combinaison de médicaments est sûr, efficace ou approprié pour un patient donné. Drugslib.com n'assume aucune responsabilité pour aucun aspect des soins de santé administrés à l'aide des informations fournies par Drugslib.com. Les informations contenues dans le présent document ne sont pas destinées à couvrir toutes les utilisations, instructions, précautions, avertissements, interactions médicamenteuses, réactions allergiques ou effets indésirables possibles. Si vous avez des questions sur les médicaments que vous prenez, consultez votre médecin, votre infirmière ou votre pharmacien.

    Mots-clés populaires