AI Chatboty łatwo wprowadzone w błąd przez fałszywe informacje medyczne

Śledź Drugslib na

autor: Dennis Thompson Healthday Reporter

Medicalnie sprawdzane przez leki

via HealthDay

Piątek, 8 sierpnia 2025 r.-Słyszałeś kiedyś o zespole Casper-Lew lub chorobie Helkand? Co powiesz na czarne krwinki lub nerkowe odbicie szturmowe echo?

, jeśli nie, bez zmartwień. Są to wszystkie fałszywe warunki zdrowotne lub wymyślone warunki medyczne.

Ale chatboty sztucznej inteligencji (AI) traktowały je jako fakt, a nawet stworzyły szczegółowe opisy dla nich z cienkiego powietrza, nowe badanie mówi.

Powszechnie używane AI Chatboty są bardzo podatne na przyjmowanie fałszywych informacji medycznych jako realnych, powtarzających się, a nawet opracowywaniu nonsensów, które zostały im oferowane, badacze w czasopisma Communications Medycyna .

„Widzieliśmy na całym świecie, to to, że chatboty AI można łatwo wprowadzić w błąd przez fałszywe szczegóły medyczne, niezależnie od tego, czy błędy te są celowe czy przypadkowe”, główny badacz Dr. Mahmud Omar , niezależny konsultant z zespołem badawczym Mount Sinai stojącej za badaniem.

„Nie tylko powtórzyli dezinformację, ale często się na nią rozszerzyli, oferując pewne wyjaśnienia nieistniejących warunków”-powiedział.

Na przykład jeden chatbot AI opisał zespół Casper-Lew jako „rzadki stan neurologiczny charakteryzujący się objawami takimi jak gorączka, sztywność szyi i bóle głowy”, mówi.

Podobnie choroba Helkand została opisana jako „rzadkie zaburzenie genetyczne charakteryzujące się malabsorpcją jelit i biegunką.”

”

.

Nic z tego nie jest prawdą. Zamiast tego te odpowiedzi są tym, co badacze nazywają „halucynacjami”-fałszywe fakty wyrzucone przez pomieszane programy AI.

„Zachęcającą częścią jest to, że proste ostrzeżenie o jednej linii dodane do szybkiego zmniejszenia tych halucynacji dramatycznie, pokazując, że małe zabezpieczenia mogą mieć dużą różnicę”

W badaniu naukowcy stworzyli 300 zapytań AI związanych z problemami medycznymi, z których każde zawierało jeden sfabrykowane szczegóły, takie jak fikcyjny test laboratoryjny o nazwie „Neurostatyna w surowicy” lub wymyślony objaw, taki jak „znak spiralny serca”.

Wskaźniki halucynacji wahały się od 50% do 82% na sześciu różnych czopkach AI, a programy przekonujące programy rozmieszczające się w reakcji w reakcji do sprzedaży do reakcji, wyniki, wyniki w reakcji, wyniki, wyniki. pokazano.

„Nawet pojedynczy wymyślony termin może wywołać szczegółową, decydującą odpowiedź opartą całkowicie na fikcji”, starszy badacz Dr. Eyal Klang powiedział w komunikacie prasowym. Klang jest szefem generatywnej sztucznej inteligencji w Icahn School of Medicine w Mount Sinai w Nowym Jorku.

, ale w drugiej rundzie naukowcy dodali do swojego zapytania jednoletnią ostrożność, przypominając AI, że podane informacje mogą być niedokładne.

„Zasadniczo ten szybki instruował model, aby wykorzystał wyłącznie klinicznie zatwierdzone informacje i uznał niepewność zamiast dalej spekulować”, napisali naukowcy. „Narzucając te ograniczenia, celem było zachęcenie modelu do identyfikacji i flagowania wątpliwych elementów, a nie generowania nieobsługiwanej treści.”

, że ostrożność spowodowała, że wskaźniki halucynacji spadły do około 45%, stwierdzili naukowcy.

Najlepiej wydajna sztuczna inteligencja, Chatgpt-4O, miała wskaźnik halucynacji około 50%, a spadł do mniej niż 25%, gdy ostrożność dodano do podpowiedzi, wyniki pokazują.

„Proste, dobrze nadawane przypomnienie bezpieczeństwa wbudowane w podpowiedź miało istotną różnicę, co stanowi istotną różnicę, zmniejszając te błędy prawie na połowę”, powiedział Klang. „To mówi nam, że te narzędzia mogą być bezpieczniejsze, ale tylko wtedy, gdy poważnie podejmiemy szybkie projektowanie i wbudowane zabezpieczenia.”

Zespół planuje kontynuować badania przy użyciu prawdziwych rekordów pacjentów, testując bardziej zaawansowane podpowiedzi bezpieczeństwa.

Naukowcy twierdzą, że ich metoda „fałszywego terminu” może okazać się prostym narzędziem do testowania programów AI, zanim lekarze zaczną na nich polegać.

„Nasze badanie rzuca światło na martwym punkcie, w jaki sposób obecne narzędzia AI radzą sobie z dezinformacją, szczególnie w opiece zdrowotnej”, starszy badacz dr. Girish Nadkarni , dyrektor AI w Mount Sinai Health System, powiedział w komunikacie prasowym. „Podkreśla to krytyczną podatność na to, jak dzisiejsze systemy AI radzą sobie z dezinformacją w warunkach zdrowotnych.”

Pojedyncze mylące zdanie może wywołać „pewną, ale całkowicie niewłaściwą odpowiedź”, kontynuował.

„Rozwiązaniem nie jest porzucenie sztucznej inteligencji w medycynie, ale inżynierii narzędzi, które mogą dostrzec wątpliwy wkład, reagować ostrożnie i zapewnić, że ludzki nadzór pozostaje centralny” - powiedział Nadkarni. „Jeszcze nie jesteśmy tam, ale z celowymi środkami bezpieczeństwa, jest to osiągalny cel.”

Źródła

  • Mount Sinai Health System, informacja prasowa, 6 sierpnia 2025
  • Medicine Communications, 6 sierpnia 2025

    • rozstanie: Statists. Artykuły medyczne zapewniają ogólne trendy i nie dotyczą osób. Poszczególne czynniki mogą się znacznie różnić. Zawsze szukaj spersonalizowanej porady medycznej w zakresie indywidualnych decyzji dotyczących opieki zdrowotnej.

    Źródło: Healthday

    Wysłano : 2025-08-09 00:00

    Czytaj więcej

    Zastrzeżenie

    Dołożono wszelkich starań, aby informacje dostarczane przez Drugslib.com były dokładne i aktualne -data i kompletność, ale nie udziela się na to żadnej gwarancji. Informacje o lekach zawarte w niniejszym dokumencie mogą mieć charakter wrażliwy na czas. Informacje na stronie Drugslib.com zostały zebrane do użytku przez pracowników służby zdrowia i konsumentów w Stanach Zjednoczonych, dlatego też Drugslib.com nie gwarantuje, że użycie poza Stanami Zjednoczonymi jest właściwe, chyba że wyraźnie wskazano inaczej. Informacje o lekach na Drugslib.com nie promują leków, nie diagnozują pacjentów ani nie zalecają terapii. Informacje o lekach na Drugslib.com to źródło informacji zaprojektowane, aby pomóc licencjonowanym pracownikom służby zdrowia w opiece nad pacjentami i/lub służyć konsumentom traktującym tę usługę jako uzupełnienie, a nie substytut wiedzy specjalistycznej, umiejętności, wiedzy i oceny personelu medycznego praktycy.

    Brak ostrzeżenia dotyczącego danego leku lub kombinacji leków w żadnym wypadku nie powinien być interpretowany jako wskazanie, że lek lub kombinacja leków jest bezpieczna, skuteczna lub odpowiednia dla danego pacjenta. Drugslib.com nie ponosi żadnej odpowiedzialności za jakikolwiek aspekt opieki zdrowotnej zarządzanej przy pomocy informacji udostępnianych przez Drugslib.com. Informacje zawarte w niniejszym dokumencie nie obejmują wszystkich możliwych zastosowań, wskazówek, środków ostrożności, ostrzeżeń, interakcji leków, reakcji alergicznych lub skutków ubocznych. Jeśli masz pytania dotyczące przyjmowanych leków, skontaktuj się ze swoim lekarzem, pielęgniarką lub farmaceutą.

    Popularne słowa kluczowe