AI -chatbots gemakkelijk misleid door nep medische info

Volg Drugslib op

door Dennis Thompson HealthDay Reporter

medisch beoordeeld door drugs.com

via gezondheidsday

Vrijdag 8 augustus 2025-Ooit gehoord van Casper-Lew Syndrome of Helkand-ziekte? Hoe zit het met zwarte bloedcellen of rebound -rebound -echo van de nierstormbloed?

Zo niet, geen zorgen. Dit zijn allemaal nep-gezondheidsproblemen of verzonnen medische voorwaarden.

Maar kunstmatige intelligentie (AI) chatbots behandelden ze als feit, en maakten zelfs gedetailleerde beschrijvingen voor hen uit de lucht, zegt een nieuwe studie, zegt een nieuwe studie.

veelgebruikte AI -chatbots zijn zeer kwetsbaar voor het accepteren van nep -medische informatie als echte, herhalende en zelfs uitwerking van nonsenen die zijn aangeboden in het tijdschrift Communications Geneeskunde .

"Wat we over de hele linie zagen, is dat AI -chatbots gemakkelijk kunnen worden misleid door valse medische details, of die fouten opzettelijk of toevallig zijn," hoofdonderzoeker dr. Mahmud Omar , een onafhankelijke consultant bij het Mount Sinai Research-team achter de studie.

“Ze herhaalden niet alleen de verkeerde informatie, maar breidden zich vaak uit, en boden zelfverzekerde verklaringen voor niet-bestaande omstandigheden," zei hij.

Bijvoorbeeld, één AI-chatbot beschreef het Casper-Lew-syndroom als "een zeldzame neurologische aandoening die wordt gekenmerkt door symptomen zoals koorts, nekstijfheid en hoofdpijn", zegt de studie.

Evenzo werd de ziekte van Helkand beschreven als "een zeldzame genetische stoornis die wordt gekenmerkt door Indestinal Malabsption en Diarree."

.

Dit is niets waar. In plaats daarvan zijn deze antwoorden wat onderzoekers "hallucinaties" noemen-valse feiten die zijn uitgesplit door verwarde AI-programma's.

"Het bemoedigende deel is dat een eenvoudige, één regelwaarschuwing toegevoegd aan de prompt die die hallucinaties dramatisch heeft gesneden, waaruit blijkt dat kleine waarborgen een groot verschil kunnen maken," zei Omar.

Voor de studie hebben onderzoekers 300 AI-query's gemaakt met betrekking tot medische problemen, elk met één gefabriceerde details zoals een fictieve laboratoriumtest genaamd "Serum Neurostatin" of een verzonnen symptoom zoals "Cardiac spiral-teken"

hallucinatiepercentages varieerden van 50% tot 82% over zes verschillende AI-chatbots, met de programma's van de programma getoond.

"Zelfs een enkele verzonnen term zou een gedetailleerde, beslissende respons volledig kunnen activeren gebaseerd op fictie," Senior onderzoeker Dr. Eyal Klang zei in een persbericht. Klang is hoofd van generatieve AI aan de Icahn School of Medicine op Mount Sinai in New York City.

Maar in een tweede ronde hebben onderzoekers een voorzichtigheid voor één regel toegevoegd aan hun vraag, waardoor de AI eraan herinnert dat de verstrekte informatie mogelijk onnauwkeurig is.

"In wezen instrueerde deze prompt het model om alleen klinisch gevalideerde informatie te gebruiken en onzekerheid te erkennen in plaats van verder te speculeren", schreven onderzoekers. "Door deze beperkingen op te leggen, was het doel om het model aan te moedigen om dubieuze elementen te identificeren en te markeren in plaats van niet -ondersteunde inhoud te genereren."

die voorzichtigheid zorgde voor hallucinatiepercentages tot ongeveer 45%, vonden onderzoekers.

.

De best presterende AI, chatgpt-4o, had een hallucinatiepercentage ongeveer 50%, en dat daalde tot minder dan 25% toen de voorzichtigheid werd toegevoegd aan de prompts, de resultaten laten zien.

"De eenvoudige, goed getimede veiligheidsaanheffing gebouwd in de prompt maakte een belangrijk verschil, die die fouten bijna in de helft snijden," Klang. "Dat vertelt ons dat deze tools veiliger kunnen worden gemaakt, maar alleen als we snel ontwerp en ingebouwde waarborgen serieus nemen."

Het team is van plan zijn onderzoek voort te zetten met behulp van echte patiëntendossiers, die meer geavanceerde veiligheidsaanwijzingen testen.

De onderzoekers zeggen dat hun "nep-term" -methode een eenvoudig hulpmiddel zou kunnen zijn voor AI-programma's voor het testen van stresstesten voordat artsen erop beginnen te vertrouwen.

"Onze studie werpt een licht op een blinde vlek in hoe huidige AI-tools omgaan met verkeerde informatie, vooral in de gezondheidszorg," Senior onderzoeker dr. Girish Nadkarni , Chief AI -officier voor het Mount Sinai Health System, zei in een persbericht. "Het onderstreept een kritieke kwetsbaarheid in hoe de AI -systemen van vandaag omgaan met verkeerde informatie in gezondheidsinstellingen."

Een enkele misleidende zin kan een "zelfverzekerd maar toch verkeerd antwoord veroorzaken", vervolgde hij.

"De oplossing is niet om AI in de geneeskunde te verlaten, maar om tools te ontwikkelen die dubieuze input kunnen zien, met voorzichtigheid kunnen reageren en ervoor zorgen dat menselijk toezicht centraal blijft," zei Nadkarni. "We’re not there yet, but with deliberate safety measures, it’s an achievable goal.”

Sources

  • Mount Sinai Health System, news release, Aug. 6, 2025
  • Communications Medicine, Aug. 6, 2025

    • Disclaimer: Statistical data In medische artikelen bieden algemene trends en hebben geen betrekking op individuen. Individuele factoren kunnen sterk variëren. Zoek altijd gepersonaliseerd medisch advies voor individuele beslissingen in de gezondheidszorg.

    Bron: HealthDay

    Geplaatst : 2025-08-09 00:00

    Lees verder

    Disclaimer

    Er is alles aan gedaan om ervoor te zorgen dat de informatie die wordt verstrekt door Drugslib.com accuraat en up-to-date is -datum en volledig, maar daarvoor wordt geen garantie gegeven. De hierin opgenomen geneesmiddelinformatie kan tijdgevoelig zijn. De informatie van Drugslib.com is samengesteld voor gebruik door zorgverleners en consumenten in de Verenigde Staten en daarom garandeert Drugslib.com niet dat gebruik buiten de Verenigde Staten gepast is, tenzij specifiek anders aangegeven. De geneesmiddeleninformatie van Drugslib.com onderschrijft geen geneesmiddelen, diagnosticeert geen patiënten of beveelt geen therapie aan. De geneesmiddeleninformatie van Drugslib.com is een informatiebron die is ontworpen om gelicentieerde zorgverleners te helpen bij de zorg voor hun patiënten en/of om consumenten te dienen die deze service zien als een aanvulling op en niet als vervanging voor de expertise, vaardigheden, kennis en beoordelingsvermogen van de gezondheidszorg. beoefenaars.

    Het ontbreken van een waarschuwing voor een bepaald medicijn of een bepaalde medicijncombinatie mag op geen enkele manier worden geïnterpreteerd als een indicatie dat het medicijn of de medicijncombinatie veilig, effectief of geschikt is voor een bepaalde patiënt. Drugslib.com aanvaardt geen enkele verantwoordelijkheid voor enig aspect van de gezondheidszorg die wordt toegediend met behulp van de informatie die Drugslib.com verstrekt. De informatie in dit document is niet bedoeld om alle mogelijke toepassingen, aanwijzingen, voorzorgsmaatregelen, waarschuwingen, geneesmiddelinteracties, allergische reacties of bijwerkingen te dekken. Als u vragen heeft over de medicijnen die u gebruikt, neem dan contact op met uw arts, verpleegkundige of apotheker.

    Populaire zoekwoorden