AI Chatbots легко вводяться в оману фальшивою медичною інформацією

Підпишіться на Drugslib

Денніс Томпсон Healthday Reporter

Медично розглянуто на наркотики.com

через HealthDay

п’ятниця, 8 серпня 2025 р.-Коли-небудь чули про синдром Каспер-Лью чи хворобу Гельканда? Як щодо чорношкірих клітин або ниркових штормових відбій ехо?

Якщо ні, то не хвилюйтесь. Це все підроблені стани здоров'я або складені медичні умови.

, але чати штучного інтелекту (AI) трактували їх як факт, і навіть створені детальні описи для них з точного повітря. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrgn0jajwel9jnr3zotv0meso8zrtgih1is99 Mjz7ucurr5v6mfbsbhsoda69kzku2hzri7k2qdalv9e7iqmz-dxk20ujsa8rua9trccipu69xowguwe_cniswkgcsgnzciwbpxcfyzjecqzniywptM Медицина .

"Те, що ми бачили в усьому світі, - це те, що чатів AI можна легко вводити в оману помилковими медичними деталями, незалежно від того, чи є ці помилки навмисними чи випадковими", провідний дослідник dr. Махмуд Омар , незалежний консультант дослідницької групи Маунт-Сінай, що стоїть за дослідженням.

"Вони не лише повторювали дезінформацію, але часто розширювались, пропонуючи впевнене пояснення неіснуючих умов",-сказав він.

Наприклад, один чат AI описав синдром Каспер-Лью як "рідкісний неврологічний стан, що характеризується такими симптомами, як лихоманка, жорсткість шиї та головні болі",-йдеться в дослідженні.

Так само хвороба Гельканд була описана як "рідкісне генетичне розлад, що характеризується мальабсорбцією китину".

нічого з цього не відповідає дійсності. Натомість ці відповіді-це те, що дослідники називають «галюцинаціями»-помилкові факти, висунуті заплутаними програмами AI.

«Заохочувальна частина полягає в тому, що просте однолінійне попередження, додане до швидкого скорочення цих галюцинацій, що показує, що невеликі гарантії можуть змінити велику різницю»,-сказав Омар.

Для дослідження дослідники створили 300 запитів AI, пов'язані з медичними проблемами, кожна з яких містить одну виготовлену деталь, наприклад, вигаданий лабораторний тест під назвою "сироватковий нейростатин" або складний симптом, як "Серцевий спіральний знак". показав.

"Навіть один складний термін може викликати детальний, вирішальний реагування, повністю заснований на вигадці", старший дослідник dr. Ейл Кланг - сказав у випуску новин. Кланг-начальник генеративного ШІ в Медичній школі Ікан в Маунт-Сінай в Нью-Йорку.

"По суті, ця підказка доручила моделі використовувати лише клінічно підтверджену інформацію та визнати невизначеність, а не спекулювати далі", - написали дослідники. "Накладаючи ці обмеження, мета полягала в тому, щоб заохотити модель виявити та прапор сумнівні елементи, а не генерувати непідтримуваний вміст".

Ця обережність спричинила швидкість галюцинації до приблизно 45%, виявили дослідники.

Найкраща ефективність AI, Chatgpt-4o, мав галюцинаційну швидкість близько 50%, і це знизилося до менш ніж 25%, коли обережність була додана до підказок, показують результати.

"Просте, добре прицільне нагадування про безпеку, вбудований у підказку, було важливим різницею, скоротивши ці помилки майже в половині",-сказав Кланг. "Це говорить нам, що ці інструменти можуть бути більш безпечними, але лише якщо ми серйозно сприймаємо проектування та вбудовані гарантії".

4

"Наше дослідження світить на сліпому місці в тому, як сучасні інструменти AI обробляють дезінформацію, особливо в охороні здоров'я", старший дослідник dr. Гіріш Надкарні , головний офіцер АІ системи охорони здоров’я Маунт -Сінай, заявив у випуску новин. "Це підкреслює критичну вразливість у тому, як сьогоднішні системи AI стосуються дезінформації в умовах здоров'я."

"Рішення полягає не в тому, щоб відмовитися від АІ в медицині, а для інженерних інструментів, які можуть помітити сумнівний внесок, реагувати обережно та забезпечити, щоб людський нагляд залишався центральним", - сказав Надкарні. "Ми ще не там, але з навмисними заходами безпеки це досяжна мета". Медичні статті забезпечують загальні тенденції та не стосуються осіб. Окремі фактори можуть сильно відрізнятися. Завжди шукайте персоналізованих медичних консультацій для індивідуальних рішень щодо охорони здоров'я.

Джерело: Healthday

Опубліковано : 2025-08-09 00:00

Читати далі

Відмова від відповідальності

Було докладено всіх зусиль, щоб інформація, надана Drugslib.com, була точною, до -дата та повна, але жодних гарантій щодо цього не надається. Інформація про ліки, що міститься тут, може бути чутливою до часу. Інформація Drugslib.com була зібрана для використання медичними працівниками та споживачами в Сполучених Штатах, тому Drugslib.com не гарантує, що використання за межами Сполучених Штатів є доцільним, якщо спеціально не вказано інше. Інформація про ліки Drugslib.com не схвалює ліки, не ставить діагноз пацієнтів і не рекомендує терапію. Інформація про ліки на Drugslib.com – це інформаційний ресурс, призначений для допомоги ліцензованим медичним працівникам у догляді за їхніми пацієнтами та/або для обслуговування споживачів, які розглядають цю послугу як доповнення, а не заміну досвіду, навичок, знань і суджень у сфері охорони здоров’я. практиків.

Відсутність попередження щодо певного препарату чи комбінації ліків у жодному разі не слід тлумачити як вказівку на те, що препарат чи комбінація препаратів є безпечними, ефективними чи прийнятними для будь-якого конкретного пацієнта. Drugslib.com не несе жодної відповідальності за будь-які аспекти медичної допомоги, що надається за допомогою інформації, яку надає Drugslib.com. Інформація, що міститься в цьому документі, не має на меті охопити всі можливі способи використання, інструкції, запобіжні заходи, попередження, лікарські взаємодії, алергічні реакції чи побічні ефекти. Якщо у вас є запитання щодо препаратів, які ви приймаєте, зверніться до свого лікаря, медсестри або фармацевта.

Популярні ключові слова