KI -Chatbots leicht durch gefälschte medizinische Informationen in die Irre geführt

Folgen Sie Drugslib auf

von Dennis Thompson Healthday Reporter

Medical.com

> via Healthday<p> Freitag, 8. August 2025-jemals von Casper-Lew-Syndrom oder Helkand-Krankheit gehört? Wie wäre es mit schwarzen Blutzellen oder Nierensturmbluten -Rebound -Echo? </P> <p> Wenn nicht, keine Sorgen. Dies sind alles gefälschte Gesundheitszustände oder erfundene medizinische Begriffe. </P><p> Aber Chatbots für künstliche Intelligenz (KI) behandelten sie als Tatsache und sogar detaillierte Beschreibungen für sie aus der Luft, heißt es in einer neuen Studie. href = COMMAKE Medizin .

"Was wir auf der ganzen Linie gesehen haben, ist, dass KI -Chatbots durch falsche medizinische Details leicht irregeführt werden können, unabhängig davon, ob diese Fehler beabsichtigt oder zufällig sind. Mahmud Omar , ein unabhängiger Berater des Mount Sinai-Forschungsteams hinter der Studie.

Zum Beispiel beschrieb ein AI-Chatbot das Casper-Lew-Syndrom als "einen seltenen neurologischen Zustand, der durch Symptome wie Fieber, Nackensteifigkeit und Kopfschmerzen gekennzeichnet ist".

Nichts davon ist wahr. Stattdessen sind diese Antworten das, was Forscher als "Halluzinationen" bezeichnen-falsche Tatsachen, die durch verwirrte KI-Programme ausgespuckt wurden.

Für die Studie haben Forscher 300 KI-Abfragen im Zusammenhang mit medizinischen Problemen hergestellt, die jeweils ein fabriziertes Detail wie einen fiktiven Labortest mit dem Namen „Serumneurostatin“ oder ein erfundenes Symptom wie „Herzspiralzeichen“ namens „Serumneurostatin“ enthielten. gezeigt.

"Selbst ein einzelner erfundener Begriff könnte eine detaillierte, entscheidende Reaktion auslösen, die ausschließlich auf Fiktion basiert", Senior Researcher dr. Eyal Klang sagte in einer Pressemitteilung. Klang ist Chef der generativen KI an der Icahn School of Medicine am Mount Sinai in New York City.

„Im Wesentlichen wies diese Eingabeaufforderung das Modell an, nur klinisch validierte Informationen zu verwenden und Unsicherheit anzuerkennen, anstatt weiter zu spekulieren“, schrieb die Forscher. „Durch die Auferlegung dieser Einschränkungen war es das Ziel, das Modell zu ermutigen, zweifelhafte Elemente zu identifizieren und zu kennzeichnen, anstatt nicht unterstützte Inhalte zu erzeugen.“

Die besten KI, Chatgpt-4o, hatte eine Halluzinationsrate von rund 50%, die auf die Eingabeaufforderungen auf weniger als 25% gesunken war. Die Ergebnisse zeigen. "Das sagt uns, dass diese Tools sicherer werden können, aber nur, wenn wir schnelles Design und integrierte Schutzmaßnahmen ernst nehmen."

Das Team plant, seine Forschung mithilfe realer Patientenakten fortzusetzen und fortgeschrittenere Sicherheitsanforderungen zu testen.

“Unsere Studie beleuchtet einen blinden Fleck in der Art und Weise, wie aktuelle KI-Tools mit Fehlinformationen umgehen, insbesondere im Gesundheitswesen. Girish Nadkarni , Chief AI -Offizier des Mount Sinai -Gesundheitssystems, sagte in einer Pressemitteilung. "Es unterstreicht eine kritische Sicherheitsanfälligkeit in der Umgang mit Fehlinformationen in den Gesundheitsumgebungen heute.

"Die Lösung besteht nicht darin, die KI in der Medizin aufzugeben, sondern Tools, die zweifelhafte Input erkennen, mit Vorsicht reagieren und sicherstellen können, dass die menschliche Aufsicht zentral bleibt", sagte Nadkarni. "Wir sind noch nicht da, aber mit absichtlichen Sicherheitsmaßnahmen ist es ein erreichbares Ziel." In medizinischen Artikeln bieten allgemeine Trends und beziehen sich nicht auf Einzelpersonen. Individuelle Faktoren können stark variieren. Suchen Sie immer personalisierte medizinische Beratung für individuelle Entscheidungen im Gesundheitswesen.

Quelle: HealthDay

Gesendet : 2025-08-09 00:00

Mehr lesen

Haftungsausschluss

Es wurden alle Anstrengungen unternommen, um sicherzustellen, dass die von Drugslib.com bereitgestellten Informationen korrekt und aktuell sind aktuell und vollständig, eine Garantie hierfür kann jedoch nicht übernommen werden. Die hierin enthaltenen Arzneimittelinformationen können zeitkritisch sein. Die Informationen von Drugslib.com wurden für die Verwendung durch medizinisches Fachpersonal und Verbraucher in den Vereinigten Staaten zusammengestellt. Daher übernimmt Drugslib.com keine Gewähr dafür, dass eine Verwendung außerhalb der Vereinigten Staaten angemessen ist, sofern nicht ausdrücklich anders angegeben. Die Arzneimittelinformationen von Drugslib.com befürworten keine Arzneimittel, diagnostizieren keine Patienten und empfehlen keine Therapie. Die Arzneimittelinformationen von Drugslib.com sind eine Informationsquelle, die zugelassenen Ärzten bei der Betreuung ihrer Patienten helfen soll und/oder Verbrauchern dienen soll, die diesen Service als Ergänzung und nicht als Ersatz für die Fachkenntnisse, Fähigkeiten, Kenntnisse und Urteilsvermögen im Gesundheitswesen betrachten Praktiker.

Das Fehlen einer Warnung für ein bestimmtes Medikament oder eine bestimmte Medikamentenkombination sollte keinesfalls als Hinweis darauf ausgelegt werden, dass das Medikament oder die Medikamentenkombination für einen bestimmten Patienten sicher, wirksam oder geeignet ist. Drugslib.com übernimmt keinerlei Verantwortung für irgendeinen Aspekt der Gesundheitsversorgung, die mithilfe der von Drugslib.com bereitgestellten Informationen durchgeführt wird. Die hierin enthaltenen Informationen sollen nicht alle möglichen Verwendungen, Anweisungen, Vorsichtsmaßnahmen, Warnungen, Arzneimittelwechselwirkungen, allergischen Reaktionen oder Nebenwirkungen abdecken. Wenn Sie Fragen zu den Medikamenten haben, die Sie einnehmen, wenden Sie sich an Ihren Arzt, das medizinische Fachpersonal oder Ihren Apotheker.

Beliebte Schlüsselwörter