Chatbot ai mudah disesatkan oleh maklumat perubatan palsu

Ikuti Drugslib di

oleh Dennis Thompson HealthDay Reporter

dikaji semula secara perubatan oleh Drugs.com

src = "https://gumlet.assettype.com/healthday-en/2025-08-06/6op6oh8n/adobestock571426637.jpeg?width=1200" loading = "lazy"

Jumaat, 8 Ogos, 2025-Pernah mendengar Sindrom Casper-Lew atau penyakit Helkand? Bagaimana dengan sel -sel darah hitam atau stormblood buah pinggang rebound echo?

Jika tidak, jangan risau. Ini semua keadaan kesihatan palsu atau istilah perubatan yang dibuat.

tetapi chatbots kecerdasan buatan (AI) memperlakukan mereka sebagai fakta, dan bahkan membuat deskripsi terperinci untuk mereka keluar dari udara yang nipis, kata satu kajian baru.

href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrgn0jajwel9jnr3zotv0meso8zrtgih1is9 Mjz7ucurr5v6mfbsbhsoda69kzku2hzri7k2qdalv9e7iqmz-dxk20ujsa8rua9trcipu69xowguwe_cniswkgcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcnzcgn Perubatan .

"Apa yang kita lihat di seluruh papan adalah bahawa chatbots AI dapat dengan mudah disesatkan oleh butiran perubatan palsu, sama ada kesilapan itu disengajakan atau tidak sengaja," penyelidik utama Tiada yang benar. Sebaliknya, respons ini adalah apa yang disebut penyelidik "halusinasi"-fakta-fakta palsu yang dipancarkan oleh program AI yang keliru. "

Untuk kajian ini, penyelidik membuat 300 pertanyaan AI yang berkaitan dengan isu-isu perubatan, masing-masing mengandungi satu terperinci yang direka seperti ujian makmal fiktif yang disebut "serum neurostatin" atau gejala yang dibuat seperti "tanda lingkaran jantung." Keputusan menunjukkan.

"Bahkan satu istilah yang dibuat dapat mencetuskan tindak balas yang terperinci dan tegas sepenuhnya berdasarkan fiksyen," penyelidik kanan dr. Eyal Klang berkata dalam siaran berita. Klang adalah ketua generatif AI di Sekolah Perubatan Icahn di Gunung Sinai di New York City.

"Pada dasarnya, ini mengarahkan model ini hanya menggunakan maklumat yang disahkan secara klinikal dan mengakui ketidakpastian dan bukannya berspekulasi," tulis para penyelidik. "Dengan mengenakan kekangan ini, matlamatnya adalah untuk menggalakkan model untuk mengenal pasti dan membenderakan unsur -unsur yang meragukan, dan bukannya menghasilkan kandungan yang tidak disokong."

AI yang terbaik, ChatGPT-4O, mempunyai kadar halusinasi sekitar 50%, dan yang turun kepada kurang daripada 25% apabila berhati-hati ditambah kepada petunjuk, hasil menunjukkan.

"Itu memberitahu kita alat-alat ini boleh dibuat lebih selamat, tetapi hanya jika kita mengambil reka bentuk segera dan perlindungan terbina dalam dengan serius."

Pasukan merancang untuk meneruskan penyelidikan menggunakan rekod pesakit sebenar, menguji lebih banyak lagi keselamatan."Kajian kami menyinari cahaya di tempat yang buta dalam bagaimana alat AI semasa mengendalikan maklumat salah, terutamanya dalam penjagaan kesihatan," penyelidik kanan dr. Girish Nadkarni, Ketua Pegawai AI untuk Sistem Kesihatan Gunung Sinai, dalam satu siaran berita. "Ia menggariskan kelemahan kritikal dalam bagaimana sistem AI hari ini menangani maklumat salah dalam tetapan kesihatan."

"Penyelesaiannya bukan untuk meninggalkan AI dalam bidang perubatan, tetapi untuk alat jurutera yang dapat melihat input yang meragukan, bertindak balas dengan berhati -hati, dan memastikan pengawasan manusia tetap menjadi pusat," kata Nadkarni. "Kami tidak berada di sana lagi, tetapi dengan langkah-langkah keselamatan yang sengaja, ia adalah matlamat yang boleh dicapai."

Sumber

Artikel menyediakan trend umum dan tidak berkaitan dengan individu. Faktor individu boleh berbeza -beza. Sentiasa dapatkan nasihat perubatan yang diperibadikan untuk keputusan penjagaan kesihatan individu.

Sumber: HealthDay

Disiarkan : 2025-08-09 00:00

Baca lagi

Penafian

Segala usaha telah dilakukan untuk memastikan bahawa maklumat yang diberikan oleh Drugslib.com adalah tepat, terkini -tarikh, dan lengkap, tetapi tiada jaminan dibuat untuk kesan itu. Maklumat ubat yang terkandung di sini mungkin sensitif masa. Maklumat Drugslib.com telah disusun untuk digunakan oleh pengamal penjagaan kesihatan dan pengguna di Amerika Syarikat dan oleh itu Drugslib.com tidak menjamin bahawa penggunaan di luar Amerika Syarikat adalah sesuai, melainkan dinyatakan sebaliknya secara khusus. Maklumat ubat Drugslib.com tidak menyokong ubat, mendiagnosis pesakit atau mengesyorkan terapi. Maklumat ubat Drugslib.com ialah sumber maklumat yang direka bentuk untuk membantu pengamal penjagaan kesihatan berlesen dalam menjaga pesakit mereka dan/atau memberi perkhidmatan kepada pengguna yang melihat perkhidmatan ini sebagai tambahan kepada, dan bukan pengganti, kepakaran, kemahiran, pengetahuan dan pertimbangan penjagaan kesihatan pengamal.

Ketiadaan amaran untuk gabungan ubat atau ubat yang diberikan sama sekali tidak boleh ditafsirkan untuk menunjukkan bahawa gabungan ubat atau ubat itu selamat, berkesan atau sesuai untuk mana-mana pesakit tertentu. Drugslib.com tidak memikul sebarang tanggungjawab untuk sebarang aspek penjagaan kesihatan yang ditadbir dengan bantuan maklumat yang disediakan oleh Drugslib.com. Maklumat yang terkandung di sini tidak bertujuan untuk merangkumi semua kemungkinan penggunaan, arahan, langkah berjaga-jaga, amaran, interaksi ubat, tindak balas alahan atau kesan buruk. Jika anda mempunyai soalan tentang ubat yang anda ambil, semak dengan doktor, jururawat atau ahli farmasi anda.

Kata kunci yang popular