Az AI chatbotok könnyen megtévesztik a hamis orvosi információkat

Kövesse a Drugslib-et

Dennis Thompson Healthday Reporter

A drogok.com orvosilag áttekintette. src = "https://gumlet.assettype.com/healthday-en/2025-08-06/6op6oh8n/adobestock571426637.jpeg?width=1200" laza "alt =" "> Via Healthday Day-t

2025. augusztus 8., péntek-Hallottál valaha a Casper-Lew-szindrómáról vagy a Helkand-kórról? Mit szólnál a fekete vérsejtekhez vagy a vese viharblood visszhanghoz?

Ha nem, akkor nincs gond. Ezek mind hamis egészségi állapotok vagy orvosi feltételek.

De a mesterséges intelligencia (AI) chatbotok tényként kezelték őket, és még részletes leírásokat készítettek számukra a vékony levegőből - mondja egy új tanulmány. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrgn0jaJwel9jnr3zotv0meso8zrtgih1is999 Mjz7ucurr5v6mfbsbhsoda69kzku2hzri7k2qdalv9e7iqmz-dxk20ujsa8rua9trccipu69xowguwe_cniswkgggnzciwbpxcfyzjecqzniywptm%3d "> kommunikáció"> kommunikáció "> kommunikáció"> kommunikáció Gyógyszer .

„Amit az egész táblán láttunk, az az, hogy az AI chatbotok könnyen megtéveszthetők hamis orvosi részletekkel, függetlenül attól, hogy ezek a hibák szándékosak vagy véletlenszerűek -e. Mahmud Omar , a Mount Sinai kutatócsoport független tanácsadója a tanulmány mögött.

Például egy AI chatbot a Casper-LeW-szindrómát „ritka neurológiai állapotnak nevezte, amelyet olyan tünetek jellemeznek, mint például a láz, a nyaki merevség és a fejfájás”.

Ez egyik sem igaz. Ehelyett ezeket a válaszokat a kutatók „hallucinációknak” hívják-a zavart AI programok által kibocsátott hamis tények.

A tanulmányhoz a kutatók az orvosi problémákhoz kapcsolódó 300 AI-lekérdezéseket készítettek, amelyek mindegyike tartalmazott egy elkészített részletet, például egy „szérum neurostatin” nevű fiktív laboratóriumi tesztet vagy egy összeállított tünetet, mint például a „szív spiráljel”. megmutatták.

„Még egyetlen összeállított kifejezés is kiválthat egy részletes, döntő választ, amely teljes egészében a fikción alapul”, az idősebb kutató dr. Eyal Klang mondta egy sajtóközleményben. Klang a New York-i Mount Sinai-hegy Icahn Orvostudományi Iskolájának generációs AI vezetője.

„Lényegében ez az utasítás arra utasította a modellt, hogy csak klinikailag validált információkat használjon, és ismeri el a bizonytalanságot ahelyett, hogy tovább spekulálna” - írta a kutatók. „Ezen korlátozások kiszabásával a cél az volt, hogy ösztönözze a modellt a kétes elemek azonosítására és megjelölésére, ahelyett, hogy nem támogatott tartalmat generálna.”

A legjobban teljesítő AI, a CHATGPT-4O, a hallucinációs arány körülbelül 50% volt, és ez kevesebb, mint 25% -ra esett vissza, amikor a figyelmeztetéseket hozzáadják, az eredmények azt mutatják. "Ez azt mondja nekünk, hogy ezek az eszközök biztonságosabbá válhatnak, de csak akkor, ha komolyan vesszük az azonnali tervezést és a beépített biztosítékokat."

A csapat azt tervezi, hogy folytatja kutatását valódi betegrekordok segítségével, a fejlettebb biztonsági utasítások tesztelésével.

„Tanulmányunk megvilágítja a vak pontot abban, hogy a jelenlegi AI-eszközök miként kezelik a téves információkat, különösen az egészségügyi ellátásban”, az idősebb kutató dr. Girish Nadkarni , a Mount Sinai Health System AI vezérigazgatója egy sajtóközleményben. "Ez hangsúlyozza a kritikus sebezhetőséget abban, hogy a mai AI rendszerek hogyan kezelik az egészségügyi környezetben a téves információkat.”

Egyetlen félrevezető kifejezés "magabiztos, de teljesen rossz választ adhat" - folytatta.

“A megoldás nem az, hogy elhagyja az AI -t az orvostudományban, hanem olyan eszközök tervezése, amelyek észrevehetik a kétes hozzájárulást, óvatosan reagálhatnak és biztosítják az emberi felügyelet központi maradványát" - mondta Nadkarni. "Még nem vagyunk ott, de a szándékos biztonsági intézkedésekkel ez elérhető cél." Az orvosi cikkekben általános tendenciákat biztosítanak, és nem vonatkoznak az egyénekre. Az egyes tényezők nagyban változhatnak. Mindig kérjen személyre szabott orvosi tanácsot az egyéni egészségügyi döntésekhez.

Forrás: Healthday

Elküldve : 2025-08-09 00:00

Olvass tovább

Felelősség kizárása

Minden erőfeszítést megtettünk annak érdekében, hogy a Drugslib.com által közölt információk pontosak és naprakészek legyenek - dátum, és teljes, de erre nem vállalunk garanciát. Az itt található gyógyszerinformációk időérzékenyek lehetnek. A Drugslib.com információit egészségügyi szakemberek és fogyasztók számára állítottuk össze az Egyesült Államokban, ezért a Drugslib.com nem garantálja, hogy az Egyesült Államokon kívüli felhasználás megfelelő, kivéve, ha kifejezetten másként jelezzük. A Drugslib.com gyógyszerinformációi nem támogatják a gyógyszereket, nem diagnosztizálnak betegeket, és nem ajánlanak terápiát. A Drugslib.com gyógyszerinformációi egy információs forrás, amelynek célja, hogy segítse az engedéllyel rendelkező egészségügyi szakembereket betegeik ellátásában és/vagy olyan fogyasztók kiszolgálására, akik ezt a szolgáltatást az egészségügyi szakértelem, készség, tudás és megítélés kiegészítéseként, nem pedig helyettesítőjeként tekintik. gyakorló szakemberek.

Az adott gyógyszerre vagy gyógyszerkombinációra vonatkozó figyelmeztetés hiánya semmiképpen sem értelmezhető úgy, hogy a gyógyszer vagy gyógyszerkombináció biztonságos, hatékony vagy megfelelő az adott beteg számára. A Drugslib.com nem vállal felelősséget a Drugslib.com által biztosított információk segítségével nyújtott egészségügyi ellátás egyetlen aspektusáért sem. Az itt található információk nem terjednek ki minden lehetséges felhasználásra, útmutatásra, óvintézkedésre, figyelmeztetésre, gyógyszerkölcsönhatásra, allergiás reakcióra vagy káros hatásra. Ha kérdése van az Ön által szedett gyógyszerekkel kapcsolatban, kérdezze meg kezelőorvosát, ápolónőjét vagy gyógyszerészét.

Népszerű kulcsszavak