AI 챗봇은 가짜 의료 정보에 의해 쉽게 오해됩니다

Drugslib을 팔로우하세요

ddc- 검토 ddc-mgt-1"> 의학적으로 검토

Healthday를 통해

2025 년 8 월 8 일 금요일-캐스퍼 르프 증후군 또는 헬칸 질병에 대해 들어 본 적이 있습니까? 검은 혈액 세포 나 신장 폭풍 껍질 반동 에코는 어떻습니까?

그렇지 않다면 걱정할 필요가 없습니다. 이것들은 모두 가짜 건강 상태 또는 의료 용어입니다.

그러나 인공 지능 (ai) 챗봇은 그것들을 사실로 취급했으며, 얇은 공기에서 그들에 대한 세부적인 설명조차도 만들어 졌다고 새로운 연구에 따르면, 널리 사용되는 AI 챗봇은 가짜 의료 정보를 실제, 반복 및 반복적으로 받아들이는 데 가짜 의료 정보를 받아들이는 데 매우 취약하다. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrgn0jajwel9jnr3zotv0meso8zrtgih1is9 MJZ7UCHR5V6MFBSBHSODA69KZKU2HZRI7K2QDALV9E7IQMZ-DXK20UJSA8RUA9TRCCIPU69XOWGUWE_CNISWKGCSGNZCIWBPXCFYZECQZNIYWPTM%3D "COMURIOLATIONS 의학 .

“우리가 전반적으로 본 것은 AI 챗봇이 오류가 의도적이든 우발적인지 여부에 관계없이 허위 의학적 세부 사항에 의해 쉽게 오해 될 수 있다는 것입니다. Mahmud Omar 는 연구 뒤에 마운트 시나이 리서치 팀의 독립 컨설턴트입니다.

“그들은 잘못된 정보를 반복했을뿐만 아니라 종종 존재하지 않는 조건에 대한 자신감있는 설명을 제공하여 종종 확장했습니다.”

는 말했습니다.예를 들어,

한 AI 챗봇은 캐스퍼 레프 증후군을“열, 목 경계 및 두통과 같은 증상으로 특징 지어지는 드문 신경 학적 상태”라고 설명했다.

이 중 어느 것도 사실이 아닙니다. 대신, 이러한 반응은 연구자들이“환각”이라고 부르는 것입니다. 혼란스러운 AI 프로그램에 의해 튀어 나온 허위 사실.

“격려적인 부분은 단순하고 한 줄의 경고가 그 환각을 극적으로 삭감하여 작은 보호 장치가 큰 차이를 만들 수 있음을 보여줍니다.”라고 Omar는 말했습니다.

이 연구의 경우, 연구원들은 의료 문제와 관련된 300 개의 AI 쿼리를 제작했으며, 각각“혈청 신경 로스타틴”이라는 가상의 실험실 테스트 또는“심장 나선형 징후”와 같은 메이크업 증상과 같은 하나의 제조 세부 사항을 포함했습니다.

환각율은 50%에서 82%까지 6 가지 AI 채팅부에 걸쳐 설득력이 있습니다. 결과가 나타났습니다.

“단일 구성 용어조차도 소설에 기반한 상세하고 결정적인 응답을 유발할 수 있습니다.”선임 연구원 dr. Eyal Klang 는 보도 자료에서 말했다. Klang은 뉴욕시 시나이 산 의과 의과 대학에서 생성 AI의 최고 책임자입니다.

그러나 두 번째 라운드에서 연구원들은 쿼리에 한 줄주의를 추가하여 AI가 부정확 할 수 있음을 상기시켜주었습니다.

.

본질적 으로이 프롬프트는 모델에 임상 적으로 검증 된 정보 만 사용하고 더 추측하는 대신 불확실성을 인정하도록 지시했습니다. "이러한 제약을 부과함으로써 목표는 모델이 지원되지 않는 콘텐츠를 생성하기보다는 모호한 요소를 식별하고 플래그하는 것을 장려하는 것이 었습니다."

가장 성능이 좋은 AI 인 Chatgpt-4o는 환각율이 50%에 달했으며, 경고가 프롬프트에 추가 될 때 25% 미만으로 떨어졌다.

“프롬프트에 내장 된 간단하고 잘 정리 된 안전 알림은 거의 반으로 인해 오류를 줄였다”고 Klang은 말했다. "이것은 우리에게 이러한 도구가 더 안전해질 수 있다고 말하지만, 신속한 디자인과 내장 보호 장치를 진지하게 받아 들일 때만 가능합니다."

.

팀은 실제 환자 기록을 사용하여 연구를 계속할 계획이며보다 고급 안전 프롬프트를 테스트 할 계획입니다.

연구원들은 의사가 그들에게 의존하기 시작하기 전에“가짜 종료”방법을 스트레스 테스트하기위한 간단한 도구를 증명할 수 있다고 말합니다.

.

“우리의 연구는 현재의 AI 도구가 특히 건강 관리에서 잘못된 정보를 처리하는 방법에 대한 사각 지대에 빛을 비 춥니 다.”선임 연구원 dr. Sinai Health System의 AI 책임자 인 Girish Nadkarni 는 보도 자료에서 밝혔다. "이것은 오늘날의 AI 시스템이 건강 환경에서 잘못된 정보를 다루는 방법에있어 중요한 취약점을 강조합니다."

단일 오해의 소지가있는 문구는 "자신감이 있지만 완전히 잘못된 대답을 촉구 할 수 있습니다."

Nadkarni는“이 솔루션은 의학에서 AI를 포기하는 것이 아니라 모호한 입력을 발견하고,주의해서 응답하며, 인간의 감독이 중심을 유지할 수있는 도구를 엔지니어링하는 것”이라고 Nadkarni는 말했다. "우리는 아직 거기에 없지만 고의적 인 안전 조치를 취하면서도 달성 가능한 목표입니다."

출처

  • Mount Sinai Health System, Newr Release, 2025 년 8 월 6 일, 2025 년 8 월 6 일
    • ddc-disclaimer : 의료 기사의 데이터는 일반적인 추세를 제공하며 개인과 관련이 없습니다. 개별 요인은 크게 다를 수 있습니다. 항상 개별 의료 결정에 대한 개인화 된 의료 조언을 구하십시오.

    출처 : Healthday

    게시됨 : 2025-08-09 00:00

    더 읽어보세요

    면책조항

    Drugslib.com에서 제공하는 정보의 정확성을 보장하기 위해 모든 노력을 기울였습니다. -날짜, 완전하지만 해당 효과에 대한 보장은 없습니다. 여기에 포함된 약물 정보는 시간에 민감할 수 있습니다. Drugslib.com 정보는 미국의 의료 종사자와 소비자가 사용하도록 편집되었으므로 달리 구체적으로 명시하지 않는 한 Drugslib.com은 미국 이외의 지역에서 사용하는 것이 적절하다고 보증하지 않습니다. Drugslib.com의 약물 정보는 약물을 보증하거나 환자를 진단하거나 치료법을 권장하지 않습니다. Drugslib.com의 약물 정보는 면허를 소지한 의료 종사자가 환자를 돌보는 데 도움을 주고/하거나 이 서비스를 건강 관리에 대한 전문 지식, 기술, 지식 및 판단을 대체하는 것이 아니라 보완으로 보는 소비자에게 제공하기 위해 설계된 정보 리소스입니다. 실무자.

    특정 약물 또는 약물 조합에 대한 경고가 없다고 해서 해당 약물 또는 약물 조합이 해당 환자에게 안전하고 효과적이거나 적절하다는 의미로 해석되어서는 안 됩니다. Drugslib.com은 Drugslib.com이 제공하는 정보의 도움으로 관리되는 의료의 모든 측면에 대해 어떠한 책임도 지지 않습니다. 여기에 포함된 정보는 가능한 모든 용도, 지시 사항, 주의 사항, 경고, 약물 상호 작용, 알레르기 반응 또는 부작용을 다루기 위한 것이 아닙니다. 복용 중인 약에 대해 궁금한 점이 있으면 담당 의사, 간호사 또는 약사에게 문의하세요.

    인기있는 키워드