Ай -чат -боты легко введены в заблуждение фальшивой медицинской информацией

Следите за Drugslib на

от Dennis Thompson Healthday Reporter

с медицинской точки зрения. src = "https://gumlet.assettype.com/healthday-en/2025-08-06/6op6oh8n/adobestock5714266637.jpeg?width=1200" Загрузка = "ленивый" alt = "> valiedyday

Пятница, 8 августа 2025 года-когда-нибудь слышали о синдроме Каспера-Леу или болезнь Хелканда? Как насчет эхо -отскока черной крови или повторного восстановления почечного шторма?

Если нет, не беспокойтесь. Это все поддельные состояния здоровья или выдуманные медицинские термины.

Но чат -боты искусственного интеллекта (AI) рассматривали их как факт, и даже изготовленные подробные описания для них из -за тонкого воздуха, говорится в новом исследовании. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrgn0jajwel9jnr3zotv0meso8zrtgih1is9 MJZ7URR5V6MFBSBHSODA69KZKU2HZRI7K2QDALV9E7IQMZ-DXK20UJSA8RUA9TRCCIPU69XOWGUWE_CNISWKGCSGNZCIWBPXCFYZCQZNIYWPTM%3D " Медицина .

«То, что мы видели по всем доске, так это то, что чат -боты ИИ могут быть легко введены в заблуждение ложными медицинскими деталями, будь то ошибки намеренными или случайными», ведущий исследователь dr. Махмуд Омар , независимый консультант исследовательской группы Mount Sinai, стоящей за исследованием.

Например, один из AI Chatbot описал синдром Каспера-Леу как «редкое неврологическое состояние, характеризующееся такими симптомами, как лихорадка, жесткость шеи и головные боли»,-говорится в исследовании.

Ничто из этого не является правдой. Вместо этого эти ответы-то, что исследователи называют «галлюцинациями»-ложные факты, изверженные запутанными программами ИИ.

Для исследования исследователи разработали 300 запросов AI, связанных с медицинскими проблемами, каждый из которых содержал одну изготовленную деталь, такую как фиктивный лабораторный тест, называемый «нейростатин сывороточного нейростатина» или созданный симптом, такой как «Спиральный знак сердца». Показано.

«Даже один изготовленный термин может вызвать подробный, решающий ответ, основанный полностью на художественной литературе», старший исследователь Dr. Эяль Кланг сказал в пресс -релизе. Кланг является начальником генеративного искусственного интеллекта в Медицинской школе Икана на горе Синай в Нью-Йорке.

«По сути, эта подсказка поручила модели использовать только клинически подтвержденную информацию и подтвердить неопределенность вместо того, чтобы больше спекулировать», - написали исследователи. «Налагая эти ограничения, цель состояла в том, чтобы поощрять модель идентифицировать и помечать сомнительные элементы, а не генерировать неподдерживаемый контент».

Наиболее показанный AI, Catgpt-4O, имел галлюцинацию около 50%, и это снизилось до менее чем 25%, когда было добавлено осторожность, результаты показывают. «Это говорит нам, что эти инструменты могут быть более безопасными, но только если мы серьезно относимся к быстрому дизайну и встроенным гарантиям».

Команда планирует продолжить свои исследования, используя реальные записи пациентов, тестируя более продвинутые подсказки безопасности.

«Наше исследование проливает свет на слепую точку в том, как текущие инструменты ИИ обрабатывают дезинформацию, особенно в здравоохранении», старший исследователь dr. Гириш Надкарни , главный сотрудник по искусственному искусству в системе здравоохранения на горе Синай, сказал в пресс -релизе. «Это подчеркивает критическую уязвимость в том, как современные системы ИИ касаются дезинформации в условиях здравоохранения».

«Решение состоит не в том, чтобы отказаться от ИИ в медицине, а в том, чтобы разработать инструменты, которые могут обнаружить сомнительные вклад, реагировать с осторожностью и обеспечить осторожность в отношении человеческого надзора», - сказал Надкарни. «Мы еще не там, но с преднамеренными мерами безопасности это достижимая цель». Статьи предоставляют общие тенденции и не относятся к отдельным лицам. Индивидуальные факторы могут сильно различаться. Всегда ищите персонализированные медицинские консультации для индивидуальных решений в области здравоохранения.

Источник: HealthDay

Опубликовано : 2025-08-09 00:00

Читать далее

Отказ от ответственности

Мы приложили все усилия, чтобы гарантировать, что информация, предоставляемая Drugslib.com, является точной и соответствует -дата и полная информация, но никаких гарантий на этот счет не предоставляется. Содержащаяся здесь информация о препарате может меняться с течением времени. Информация Drugslib.com была собрана для использования медицинскими работниками и потребителями в Соединенных Штатах, и поэтому Drugslib.com не гарантирует, что использование за пределами Соединенных Штатов является целесообразным, если специально не указано иное. Информация о лекарствах на сайте Drugslib.com не рекламирует лекарства, не диагностирует пациентов и не рекомендует терапию. Информация о лекарствах на сайте Drugslib.com — это информационный ресурс, предназначенный для помощи лицензированным практикующим врачам в уходе за своими пациентами и/или для обслуживания потребителей, рассматривающих эту услугу как дополнение, а не замену опыта, навыков, знаний и суждений в области здравоохранения. практики.

Отсутствие предупреждения для данного препарата или комбинации препаратов никоим образом не должно быть истолковано как указание на то, что препарат или комбинация препаратов безопасны, эффективны или подходят для конкретного пациента. Drugslib.com не несет никакой ответственности за какой-либо аспект здравоохранения, администрируемый с помощью информации, предоставляемой Drugslib.com. Информация, содержащаяся в настоящем документе, не предназначена для охвата всех возможных вариантов использования, направлений, мер предосторожности, предупреждений, взаимодействия лекарств, аллергических реакций или побочных эффектов. Если у вас есть вопросы о лекарствах, которые вы принимаете, проконсультируйтесь со своим врачом, медсестрой или фармацевтом.

Популярные ключевые слова