AI Chatbots mudah disesatkan oleh info medis palsu

Ikuti Drugslib di

oleh Dennis Thompson Healthday Reporter

ditinjau secara medis oleh obat-obatan.com

healthday

Jumat, 8 Agustus 2025-Pernah mendengar tentang sindrom Casper-Lew atau penyakit Helkand? Bagaimana dengan sel darah hitam atau ginjal badai rebound gema?

Jika tidak, jangan khawatir. Ini semua adalah kondisi kesehatan palsu atau istilah medis yang dibuat-buat.

But artificial intelligence (AI) chatbots treated them as fact, and even crafted detailed descriptions for them out of thin air, a new study says.

Widely used AI chatbots are highly vulnerable to accepting fake medical information as real, repeating and even elaborating upon nonsense that's been offered to them, researchers reported in the journal , seorang konsultan independen dengan tim peneliti Mount Sinai di belakang penelitian ini.

"Mereka tidak hanya mengulangi informasi yang salah tetapi sering diperluas di atasnya, menawarkan penjelasan percaya diri untuk kondisi yang tidak ada," katanya.

Misalnya, satu chatbot AI menggambarkan sindrom casper-lew sebagai "kondisi neurologis langka yang ditandai dengan gejala seperti demam, kekakuan leher dan sakit kepala," kata penelitian ini.

Demikian juga, penyakit Helkand digambarkan sebagai "gangguan genetik langka yang ditandai dengan malabsorpsi dan diarhea."

Tidak ada yang benar. Sebaliknya, tanggapan-tanggapan ini adalah apa yang oleh para peneliti disebut sebagai "halusinasi"-fakta-fakta palsu yang dimuntahkan oleh program AI yang bingung.

“Bagian yang menggembirakan adalah bahwa peringatan satu baris yang sederhana ditambahkan ke prompt memotong halusinasi tersebut secara dramatis, menunjukkan bahwa perlindungan kecil dapat membuat perbedaan besar,” kata Omar.

Untuk penelitian ini, para peneliti membuat 300 kueri AI yang terkait dengan masalah medis, masing-masing berisi satu detail buatan seperti tes lab fiktif yang disebut "serum neurostatin" atau gejala yang dibuat-buat seperti "tanda spiral jantung." menunjukkan.

“Bahkan istilah yang dibuat-buat dapat memicu respons yang terperinci dan menentukan yang sepenuhnya didasarkan pada fiksi,” peneliti senior dr. Eyal Klang mengatakan dalam rilis berita. Klang adalah Kepala AI generatif di ICAHN School of Medicine di Gunung Sinai di New York City.

Tetapi di babak kedua, para peneliti menambahkan satu baris kehati-hatian pada kueri mereka, mengingatkan AI bahwa informasi yang diberikan mungkin tidak akurat.

“Pada dasarnya, prompt ini menginstruksikan model untuk hanya menggunakan informasi yang divalidasi secara klinis dan mengakui ketidakpastian alih -alih berspekulasi lebih lanjut,” tulis para peneliti. “Dengan memaksakan kendala ini, tujuannya adalah untuk mendorong model untuk mengidentifikasi dan menandai elemen yang meragukan, daripada menghasilkan konten yang tidak didukung.”

Perhatian yang menyebabkan tingkat halusinasi turun menjadi sekitar 45%, para peneliti menemukan.

AI yang berkinerja terbaik, ChatGPT-4O, memiliki tingkat halusinasi sekitar 50%, dan itu turun menjadi kurang dari 25% ketika kehati-hatian ditambahkan ke petunjuk, hasilnya menunjukkan.

"Pengingat keselamatan yang sederhana dan tepat waktu yang dibangun ke dalam prompt membuat perbedaan penting, memotong kesalahan-kesalahan itu hampir di setengah," kata KLANG. “Itu memberi tahu kami alat-alat ini dapat dibuat lebih aman, tetapi hanya jika kami mengambil desain yang cepat dan perlindungan bawaan dengan serius.”

Tim berencana untuk melanjutkan penelitiannya menggunakan catatan pasien nyata, menguji petunjuk keselamatan yang lebih maju.

Para peneliti mengatakan metode "jangka palsu" mereka dapat membuktikan alat sederhana untuk program AI pengujian stres sebelum dokter mulai mengandalkan mereka.

“Penelitian kami menyinari titik buta dalam bagaimana alat AI saat ini menangani informasi yang salah, terutama dalam perawatan kesehatan,” peneliti senior dr. Girish Nadkarni , kepala petugas AI untuk sistem kesehatan Gunung Sinai, mengatakan dalam rilis berita. "Ini menggarisbawahi kerentanan kritis dalam bagaimana sistem AI saat ini berurusan dengan informasi yang salah dalam pengaturan kesehatan."

Sebuah frasa yang menyesatkan tunggal dapat mendorong "jawaban yang percaya diri namun sepenuhnya salah," lanjutnya.

"Solusinya bukan untuk meninggalkan AI dalam kedokteran, tetapi untuk merekayasa alat yang dapat melihat input yang meragukan, merespons dengan hati -hati, dan memastikan pengawasan manusia tetap pusat," kata Nadkarni. "We’re not there yet, but with deliberate safety measures, it’s an achievable goal.”

Sources

  • Mount Sinai Health System, news release, Aug. 6, 2025
  • Communications Medicine, Aug. 6, 2025

    • Disclaimer: Statistical data in Artikel medis memberikan tren umum dan tidak berkaitan dengan individu. Faktor individu dapat sangat bervariasi. Selalu cari nasihat medis yang dipersonalisasi untuk keputusan perawatan kesehatan individu.

    Sumber: Healthday

    Diposting : 2025-08-09 00:00

    Baca selengkapnya

    Penafian

    Segala upaya telah dilakukan untuk memastikan bahwa informasi yang diberikan oleh Drugslib.com akurat, terkini -tanggal, dan lengkap, namun tidak ada jaminan mengenai hal tersebut. Informasi obat yang terkandung di sini mungkin sensitif terhadap waktu. Informasi Drugslib.com telah dikumpulkan untuk digunakan oleh praktisi kesehatan dan konsumen di Amerika Serikat dan oleh karena itu Drugslib.com tidak menjamin bahwa penggunaan di luar Amerika Serikat adalah tepat, kecuali dinyatakan sebaliknya. Informasi obat Drugslib.com tidak mendukung obat, mendiagnosis pasien, atau merekomendasikan terapi. Informasi obat Drugslib.com adalah sumber informasi yang dirancang untuk membantu praktisi layanan kesehatan berlisensi dalam merawat pasien mereka dan/atau untuk melayani konsumen yang memandang layanan ini sebagai pelengkap, dan bukan pengganti, keahlian, keterampilan, pengetahuan, dan penilaian layanan kesehatan. praktisi.

    Tidak adanya peringatan untuk suatu obat atau kombinasi obat sama sekali tidak boleh ditafsirkan sebagai indikasi bahwa obat atau kombinasi obat tersebut aman, efektif, atau sesuai untuk pasien tertentu. Drugslib.com tidak bertanggung jawab atas segala aspek layanan kesehatan yang diberikan dengan bantuan informasi yang disediakan Drugslib.com. Informasi yang terkandung di sini tidak dimaksudkan untuk mencakup semua kemungkinan penggunaan, petunjuk, tindakan pencegahan, peringatan, interaksi obat, reaksi alergi, atau efek samping. Jika Anda memiliki pertanyaan tentang obat yang Anda konsumsi, tanyakan kepada dokter, perawat, atau apoteker Anda.

    Kata kunci populer