I chatbot AI facilmente ingannati da false informazioni mediche
di Dennis Thompson Healthday Reporter
rivisto medico da droga.com
comunicazioni Medicina . "Quello che abbiamo visto su tutta la linea è che i chatbot AI possono essere facilmente ingannati da falsi dettagli medici, sia che tali errori siano intenzionali o accidentali", ricercatore principale dr. Mahmud Omar , un consulente indipendente con il team di ricerca del Monte Sinai dietro lo studio.
"Non solo hanno ripetuto la disinformazione ma spesso si sono espanse su di esso, offrendo spiegazioni sicure per condizioni non esistenti", ha detto.
Ad esempio, un chatbot AI ha descritto la sindrome di Casper-Lew come "una rara condizione neurologica caratterizzata da sintomi come febbre, rigidità del collo e mal di testa", dice lo studio.
Allo stesso modo, la malattia di Helkand è stata descritta come "una rara disturbo genetico caratterizzato da malabsorbizione intestinale e diarrhea."
Niente di tutto questo è vero. Invece, queste risposte sono quelle che i ricercatori chiamano "allucinazioni"-Fatti falsi emessi da programmi di intelligenza artificiale confusi.
"La parte incoraggiante è che un semplice avvertimento a una riga aggiunto al prompt ha tagliato queste allucinazioni drammaticamente, dimostrando che piccole garanzie possono fare una grande differenza", ha detto Omar.
Per lo studio, i ricercatori hanno realizzato 300 query AI relative a problemi medici, ognuno contenente un dettaglio fabbricato come un test di laboratorio fittizio chiamato "neurostatina sierica" o un sintomo inventato come "segno cardiaco a spirale". mostrato.
"Anche un singolo termine inventato potrebbe innescare una risposta dettagliata e decisiva basata interamente sulla finzione", ricercatore senior dr. Eyal Klang ha detto in un comunicato stampa. Klang è capo dell'IA generativa presso la Icahn School of Medicine a Mount Sinai a New York City.
Ma in un secondo round, i ricercatori hanno aggiunto una cautela a una linea alla loro query, ricordando all'IA che le informazioni fornite potrebbero essere inaccurate.
"In sostanza, questo prompt ha incaricato il modello di utilizzare solo informazioni convalidate clinicamente e riconoscere l'incertezza invece di speculare ulteriormente", hanno scritto i ricercatori. "Imponando questi vincoli, l'obiettivo era quello di incoraggiare il modello a identificare e contrassegnare elementi dubbie, piuttosto che generare contenuti non supportati."
che la cautela ha causato il calo dei tassi di allucinazione a circa il 45%, hanno scoperto i ricercatori.
L'intelligenza artificiale più performante, CHATGPT-4O, aveva un tasso di allucinazione intorno al 50% e che è sceso a meno del 25% quando la cautela è stata aggiunta alle istruzioni, mostrano i risultati.
"Il semplice promemoria per la sicurezza incredibile integrato nella Prompt ha fatto una differenza importante, tagliando quegli errori quasi a metà", ha detto Klang. "Questo ci dice che questi strumenti possono essere resi più sicuri, ma solo se prendiamo seriamente il design rapido e le garanzie integrate."
Il team prevede di continuare le sue ricerche utilizzando registri reali dei pazienti, testando istruzioni di sicurezza più avanzate.
I ricercatori affermano che il loro metodo "falso a termine" potrebbe rivelarsi un semplice strumento per i programmi di AI di test di stress prima che i medici inizino a fare affidamento su di essi.
"Il nostro studio illumina una luce in un punto cieco nel modo in cui gli attuali strumenti di AI gestiscono la disinformazione, specialmente nell'assistenza sanitaria", ricercatore senior dr. Girish Nadkarni , Chief AI Officer del Monte Sinai Health System, ha dichiarato in un comunicato stampa. "Sottolinea una vulnerabilità critica nel modo in cui i sistemi di intelligenza artificiale di oggi affrontano la disinformazione in contesti sanitari".
Una singola frase fuorviante può richiedere una "risposta" sicura di sicurezza ma del tutto sbagliata ", ha continuato.
"La soluzione non è quella di abbandonare l'IA in medicina, ma di ingegnere strumenti in grado di individuare input dubbie, rispondere con cautela e garantire che la supervisione umana rimanga centrale", ha detto Nadkarni. "Non ci siamo ancora, ma con deliberate misure di sicurezza, è un obiettivo realizzabile."
Fonti
Fonte: Healthday Pubblicato : 2025-08-09 00:00 È stato fatto ogni sforzo per garantire che le informazioni fornite da Drugslib.com siano accurate, aggiornate -datati e completi, ma non viene fornita alcuna garanzia in tal senso. Le informazioni sui farmaci qui contenute potrebbero essere sensibili al fattore tempo. Le informazioni su Drugslib.com sono state compilate per l'uso da parte di operatori sanitari e consumatori negli Stati Uniti e pertanto Drugslib.com non garantisce che l'uso al di fuori degli Stati Uniti sia appropriato, se non diversamente indicato. Le informazioni sui farmaci di Drugslib.com non sostengono farmaci, né diagnosticano pazienti né raccomandano terapie. Le informazioni sui farmaci di Drugslib.com sono una risorsa informativa progettata per assistere gli operatori sanitari autorizzati nella cura dei propri pazienti e/o per servire i consumatori che considerano questo servizio come un supplemento e non come un sostituto dell'esperienza, dell'abilità, della conoscenza e del giudizio dell'assistenza sanitaria professionisti. L'assenza di un'avvertenza per un determinato farmaco o combinazione di farmaci non deve in alcun modo essere interpretata come indicazione che il farmaco o la combinazione di farmaci sia sicura, efficace o appropriata per un dato paziente. Drugslib.com non si assume alcuna responsabilità per qualsiasi aspetto dell'assistenza sanitaria amministrata con l'aiuto delle informazioni fornite da Drugslib.com. Le informazioni contenute nel presente documento non intendono coprire tutti i possibili usi, indicazioni, precauzioni, avvertenze, interazioni farmacologiche, reazioni allergiche o effetti avversi. Se hai domande sui farmaci che stai assumendo, consulta il tuo medico, infermiere o farmacista.Per saperne di più
Disclaimer
Parole chiave popolari