AI chatbots snadno uvečená falešnými lékařskými informacemi

Sledujte Drugslib

od Dennis Thompson Healthday Reporter

lékařsky přezkoumán pomocí Drugs.com

Pátek 8. srpna 2025-Slyšeli jste někdy o syndromu Casper-Lew Syndrome nebo Helkand? A co černé krvinky nebo renální bouřka odrazová ozvěna?

Pokud ne, žádné starosti. To jsou všechny falešné zdravotní podmínky nebo vytvořené lékařské podmínky.

Ale chatboty umělé inteligence (AI) s nimi považovali za skutečnost a dokonce pro ně vytvořili podrobné popisy z tenkého vzduchu, říká nová studie. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=Jayp-Cummw6fj42nbvslktGtrgn0Jajwel9jnr3Zotv0Meso8zrtgih1is9 Mjz7ucurr5v6mfbsbhsoda69kzku2hzri7k2qdalv9e7iqmz-dxk20ujsa8rua9trcipu69xowguwe_cniswkgcsgnzciwbpxcfyzjecqzniywptm%3d "> communications Medicína .

„To, co jsme viděli napříč deskou, je to, že AI chatbots lze snadno uvést v omyl falešnými lékařskými detaily, ať už jsou tyto chyby úmyslné nebo náhodné,“ vedoucí výzkumník DR. Mahmud Omar , nezávislý konzultant s výzkumným týmem Mount Sinai za studií.

Například jeden chatbot AI popsal syndrom Casper-Lew jako „vzácný neurologický stav charakterizovaný symptomy, jako je horečka, tuhost krku a bolesti hlavy,“ říká studie.

Nic z toho není pravda. Místo toho jsou tyto reakce tím, co vědci nazývají „halucinace“-falešná fakta vytíraná zmatenými programy AI.

„Povzbuzující část je, že jednoduché jednoslovné varování přidané k rychlému snížení těchto halucinací dramaticky, což ukazuje, že malé záruky mohou mít velký rozdíl,“ řekl Omar.

Pro studii vědci vytvořili 300 dotazů AI souvisejících s zdravotními problémy, z nichž každá obsahovala jeden vyrobený detail, jako je fiktivní laboratorní test zvaný „sérový neurostatin“ nebo vymyslet příznak, jako je „srdeční spirálové znaky“. ukázalo.

„Dokonce i jediný vytvořený termín by mohl vyvolat podrobnou, rozhodující odezvu založenou výhradně na fikci,“ senior výzkumný pracovník dr. Eyal Klang řekl ve zprávě. Klang je šéfem generativní AI na Icahn School of Medicine na Mount Sinai v New Yorku.

Ale ve druhém kole vědci přidali do jejich dotazu jednorázovou opatrnost a připomněli AI, že poskytnuté informace mohou být nepřesné.

„Tato výzva v podstatě nařídila modelu, aby používal pouze klinicky ověřené informace a místo toho, aby dále spekuloval nejistotu,“ napsali vědci. "Uložením těchto omezení bylo cílem povzbudit model k identifikaci a označení pochybných prvků, než aby vytvořil nepodporovaný obsah."

Tato opatrnost způsobila, že míra halucinace klesla na přibližně 45%, zjistili vědci

Nejlépe výkonná AI, ChatGPT-4O, měla míru halucinace kolem 50%, a to kleslo na méně než 25%, když byla opatrnost přidána k výzvám, ukazují výsledky. "To nám říká, že tyto nástroje mohou být bezpečnější, ale pouze pokud bereme rychlé design a vestavěné záruky vážně."

Tým plánuje pokračovat ve svém výzkumu pomocí skutečných záznamů pacientů, testování pokročilejších bezpečnostních výzev.

„Naše studie svítí světlo na slepém místě v tom, jak současné nástroje AI zpracovávají dezinformace, zejména ve zdravotnictví,“ senior výzkumný pracovník Dr. Girish Nadkarni , hlavní ředitel AI pro zdravotnický systém Mount Sinai, uvedl ve zprávě. „Zdůrazňuje kritickou zranitelnost v tom, jak se dnešní systémy AI zabývají dezinformací ve zdravotnickém prostředí.“

Jedna zavádějící fráze může vyvolat „sebevědomá, ale zcela špatná odpověď“, pokračoval.

„Řešením není opustit AI v medicíně, ale vyvolat nástroje, které mohou zjistit pochybné vstupy, reagovat opatrně a zajistit, aby lidský dohled zůstával ústřední,“ řekl Nadkarni. "Ještě tam nejsme, ale s úmyslnými bezpečnostními opatřeními je to dosažitelný cíl."

Zdroje

  • Mount Sinai Health System, tisková zpráva, 6. srpna 2025

  • Zdroj: Healthday

    Vyslán : 2025-08-09 00:00

    Přečtěte si více

    Odmítnutí odpovědnosti

    Vynaložili jsme veškeré úsilí, abychom zajistili, že informace poskytované na webu Drugslib.com jsou přesné a aktuální -datum a úplné, ale v tomto smyslu není poskytována žádná záruka. Informace o léčivech zde uvedené mohou být časově citlivé. Informace Drugslib.com byly sestaveny pro použití zdravotnickými lékaři a spotřebiteli ve Spojených státech, a proto Drugslib.com nezaručuje, že použití mimo Spojené státy jsou vhodné, pokud není výslovně uvedeno jinak. Informace o drogách na webu Drugslib.com nepodporují léky, nediagnostikují pacienty ani nedoporučují terapii. Informace o lécích na webu Drugslib.com jsou informačním zdrojem, který má pomáhat licencovaným lékařům v péči o jejich pacienty a/nebo sloužit spotřebitelům, kteří tuto službu vnímají jako doplněk, a nikoli náhradu za odborné znalosti, dovednosti, znalosti a úsudek zdravotní péče. praktikující.

    Neexistence varování pro daný lék nebo lékovou kombinaci by v žádném případě neměla být vykládána tak, že naznačuje, že lék nebo léková kombinace je pro daného pacienta bezpečná, účinná nebo vhodná. Drugslib.com nepřebírá žádnou odpovědnost za jakýkoli aspekt zdravotní péče poskytované s pomocí informací, které poskytuje Drugslib.com. Informace obsažené v tomto dokumentu nejsou určeny k pokrytí všech možných použití, pokynů, opatření, varování, lékových interakcí, alergických reakcí nebo nežádoucích účinků. Máte-li otázky týkající se léků, které užíváte, zeptejte se svého lékaře, zdravotní sestry nebo lékárníka.

    Populární klíčová slova