Chatbot -uri AI ușor înșelate de informații medicale false

Urmăriți Drugslib pe

de Dennis Thompson Healthday Reporter

Revizuit medical de Drugs.com

comunicații Medicină .

„Ceea ce am văzut în toată lumea este că chatbot -urile AI pot fi ușor înșelate de detalii medicale false, indiferent dacă aceste erori sunt intenționate sau accidentale”, cercetător principal dr. Mahmud Omar , un consultant independent cu echipa de cercetare Mount Sinai din spatele studiului.

„Nu numai că au repetat dezinformarea, dar deseori s-au extins asupra acestuia, oferind explicații încrezătoare pentru condiții inexistente”, a spus el.

De exemplu, un chatbot AI a descris sindromul Casper-Lew drept „o afecțiune neurologică rară caracterizată prin simptome precum febra, rigiditatea gâtului și durerile de cap”, spune studiul.

De asemenea, boala Helkand a fost descrisă ca „o tulburare genetică rară caracterizată prin malabsorbție intestinală și diaree”.

nimic din toate acestea nu este adevărat. În schimb, aceste răspunsuri sunt ceea ce cercetătorii numesc „halucinații”-fapte false aruncate de programele AI confuze.

„Partea încurajatoare este că un avertisment simplu, unic, adăugat la prompt, a tăiat dramatic aceste halucinații, arătând că mici salvăriri pot face o mare diferență”, a spus Omar.

Pentru studiu, cercetătorii au elaborat 300 de interogări AI legate de probleme medicale, fiecare conținând un detaliu fabricat, cum ar fi un test de laborator fictiv numit „Neurostatină serică” sau un simptom alcătuit, cum ar fi „semnul spirală cardiacă”. a arătat.

„Chiar și un singur termen alcătuit ar putea declanșa un răspuns detaliat, decisiv, bazat în întregime pe ficțiune”, Senior Researder Dr. Eyal Klang a spus într -un comunicat de presă. Klang este șeful AI generativ la Școala de Medicină Icahn de la Mount Sinai din New York.

Dar, într-o a doua rundă, cercetătorii au adăugat o atenție de o singură linie la întrebarea lor, amintind AI că informațiile furnizate ar putea fi inexacte.

„În esență, acest prompt a instruit modelul să utilizeze doar informații validate clinic și să recunoască incertitudinea în loc să speculeze în continuare”, au scris cercetătorii. „Prin impunerea acestor constrângeri, scopul a fost de a încuraja modelul să identifice și să semnalizeze elemente dubioase, mai degrabă decât să genereze conținut neacceptat.”

Această precauție a determinat scăderea ratelor de halucinație la aproximativ 45%, au descoperit cercetătorii.

AI-ul cu cea mai bună performanță, ChatGPT-4O, a avut o rată de halucinație în jur de 50%, iar aceasta a scăzut la mai puțin de 25% atunci când a fost adăugată prudență la prompturi, arată rezultatele.

„Simplul reamintire de siguranță, bine programat, încorporat în prompt a făcut o diferență importantă, reducând aceste erori aproape la jumătate”, a spus Klang. „Acest lucru ne spune că aceste instrumente pot fi făcute mai sigure, dar numai dacă luăm în serios proiectarea promptă și garanțiile încorporate.”

Echipa intenționează să își continue cercetările folosind înregistrări reale de pacienți, testând mai multe prompturi de siguranță mai avansate.

Cercetătorii spun că metoda lor „falsă pe termen” ar putea dovedi un instrument simplu pentru testarea stresului AI Programe înainte ca medicii să înceapă să se bazeze pe ei.

„Studiul nostru strălucește pe un loc orb în modul în care instrumentele actuale AI se ocupă de dezinformare, în special în asistența medicală”, Senior Researder Dr. A declarat Girish Nadkarni , a declarat ofițerul șef AI pentru Sistemul de sănătate Mount Sinai, într -un comunicat de presă. „Subliniază o vulnerabilitate critică a modului în care sistemele AI de astăzi se ocupă de dezinformarea setărilor de sănătate.”

O singură frază înșelătoare poate determina un „răspuns încrezător, dar complet greșit”, a continuat el.

„Soluția nu este de a abandona AI în medicină, ci de a inginer instrumente care pot observa aportul dubios, să răspundă cu prudență și să asigure că supravegherea umană rămâne centrală”, a spus Nadkarni. "Încă nu suntem acolo, dar, cu măsuri de siguranță deliberate, este un obiectiv realizabil."

Surse

  • Mount Sinai Health System, comunicat de presă, 6 august 2025
  • Medicină de comunicații, 6 august 2025

    • Articolele oferă tendințe generale și nu se referă la indivizi. Factorii individuali pot varia foarte mult. Căutați întotdeauna sfaturi medicale personalizate pentru deciziile individuale de asistență medicală.

    Sursa: Healthday

    Postat : 2025-08-09 00:00

    Citeşte mai mult

    Declinare de responsabilitate

    S-au depus toate eforturile pentru a se asigura că informațiile furnizate de Drugslib.com sunt exacte, actualizate -data și completă, dar nu se face nicio garanție în acest sens. Informațiile despre medicamente conținute aici pot fi sensibile la timp. Informațiile Drugslib.com au fost compilate pentru a fi utilizate de către practicienii din domeniul sănătății și consumatorii din Statele Unite și, prin urmare, Drugslib.com nu garantează că utilizările în afara Statelor Unite sunt adecvate, cu excepția cazului în care se indică altfel. Informațiile despre medicamente de la Drugslib.com nu susțin medicamente, nu diagnostichează pacienții și nu recomandă terapie. Informațiile despre medicamente de la Drugslib.com sunt o resursă informațională concepută pentru a ajuta practicienii autorizați din domeniul sănătății în îngrijirea pacienților lor și/sau pentru a servi consumatorilor care văd acest serviciu ca un supliment și nu un substitut pentru expertiza, abilitățile, cunoștințele și raționamentul asistenței medicale. practicieni.

    Lipsa unui avertisment pentru un anumit medicament sau combinație de medicamente nu trebuie în niciun fel interpretată ca indicând faptul că medicamentul sau combinația de medicamente este sigură, eficientă sau adecvată pentru un anumit pacient. Drugslib.com nu își asumă nicio responsabilitate pentru niciun aspect al asistenței medicale administrat cu ajutorul informațiilor furnizate de Drugslib.com. Informațiile conținute aici nu sunt destinate să acopere toate utilizările posibile, instrucțiunile, precauțiile, avertismentele, interacțiunile medicamentoase, reacțiile alergice sau efectele adverse. Dacă aveți întrebări despre medicamentele pe care le luați, consultați medicul, asistenta sau farmacistul.

    Cuvinte cheie populare