AI chatbots เข้าใจผิดได้ง่ายโดยข้อมูลทางการแพทย์ปลอม

ติดตาม Drugslib ได้ที่

โดย Dennis Thompson Healthday Reporter

.

“ สิ่งที่เราเห็นทั่วกระดานคือ AI chatbots สามารถเข้าใจผิดได้อย่างง่ายดายโดยรายละเอียดทางการแพทย์ที่ผิดพลาดไม่ว่าจะเป็นข้อผิดพลาดเหล่านั้นโดยเจตนาหรือบังเอิญ” นักวิจัยนำ

“ ส่วนที่ให้กำลังใจคือคำเตือนง่ายๆหนึ่งบรรทัด

สำหรับการศึกษานักวิจัยได้สร้างแบบสอบถาม AI 300 ครั้งที่เกี่ยวข้องกับปัญหาทางการแพทย์แต่ละรายมีรายละเอียดที่ประดิษฐ์ขึ้นมาหนึ่งรายการเช่นการทดสอบห้องปฏิบัติการสมมติที่เรียกว่า "ซีรั่ม neurostatin" หรืออาการที่สร้างขึ้นเช่น แสดง.

“ แม้แต่คำที่สร้างขึ้นเพียงคำเดียวก็สามารถกระตุ้นการตอบสนองอย่างละเอียดและเด็ดขาดตามนิยายทั้งหมด” นักวิจัยอาวุโส Dr Eyal Klang กล่าวในการแถลงข่าว Klang เป็นหัวหน้าของ Generative AI ที่ Icahn School of Medicine ที่ Mount Sinai ในนิวยอร์กซิตี้

แต่ในรอบที่สองนักวิจัยได้เพิ่มข้อควรระวังหนึ่งบรรทัดในการสืบค้นของพวกเขาเตือน AI ว่าข้อมูลที่ให้ไว้อาจไม่ถูกต้อง

“ โดยพื้นฐานแล้วคำสั่งนี้สั่งให้แบบจำลองใช้ข้อมูลที่ผ่านการตรวจสอบทางคลินิกเท่านั้นและรับทราบความไม่แน่นอนแทนที่จะคาดเดาเพิ่มเติม” นักวิจัยเขียน “ ด้วยการกำหนดข้อ จำกัด เหล่านี้เป้าหมายคือการส่งเสริมให้แบบจำลองระบุและตั้งค่าสถานะองค์ประกอบที่น่าสงสัยแทนที่จะสร้างเนื้อหาที่ไม่ได้รับการสนับสนุน”

ข้อควรระวังทำให้อัตราการหลอมรวมลดลงเหลือประมาณ 45%นักวิจัยพบ

AI ที่มีประสิทธิภาพดีที่สุด, CHATGPT-4O มีอัตราการเกิดภาพหลอนประมาณ 50% และลดลงเหลือน้อยกว่า 25% เมื่อเพิ่มความระมัดระวังในการแจ้งเตือนผลลัพธ์แสดง

“ การเตือนความปลอดภัยที่เรียบง่าย “ นั่นบอกเราว่าเครื่องมือเหล่านี้สามารถทำให้ปลอดภัยยิ่งขึ้น แต่ถ้าเราใช้การออกแบบที่รวดเร็วและป้องกันในตัวอย่างจริงจัง”

ทีมวางแผนที่จะดำเนินการวิจัยต่อโดยใช้บันทึกผู้ป่วยจริงทดสอบพรอมต์ความปลอดภัยขั้นสูงมากขึ้น

นักวิจัยกล่าวว่าวิธีการ“ ปลอม” ของพวกเขาสามารถพิสูจน์ได้ว่าเป็นเครื่องมือง่ายๆสำหรับโปรแกรมการทดสอบความเครียด

“ การศึกษาของเราส่องแสงบนจุดบอดในวิธีการที่เครื่องมือ AI ในปัจจุบันจัดการกับข้อมูลที่ผิดโดยเฉพาะอย่างยิ่งในการดูแลสุขภาพ” นักวิจัยอาวุโส Dr. Girish Nadkarni หัวหน้าเจ้าหน้าที่ AI ของระบบสุขภาพ Mount Sinai กล่าวในการแถลงข่าว “ เป็นการตอกย้ำช่องโหว่ที่สำคัญในการที่ระบบ AI ของวันนี้จัดการกับข้อมูลที่ผิดในการตั้งค่าสุขภาพ”

วลีที่ทำให้เข้าใจผิดเพียงครั้งเดียวสามารถกระตุ้นให้เกิดคำตอบที่“ มั่นใจได้อย่างผิด ๆ ” เขากล่าวต่อ

“ วิธีแก้ปัญหาไม่ได้ละทิ้ง AI ในการแพทย์ แต่สำหรับเครื่องมือวิศวกรที่สามารถมองเห็นอินพุตที่น่าสงสัยตอบสนองด้วยความระมัดระวังและตรวจสอบให้แน่ใจว่าการกำกับดูแลของมนุษย์ยังคงเป็นศูนย์กลาง” Nadkarni กล่าว "เรายังไม่ได้อยู่ที่นั่น แต่ด้วยมาตรการความปลอดภัยโดยเจตนามันเป็นเป้าหมายที่ทำได้"

แหล่งที่มา

  • ระบบสุขภาพ Mount Sinai, ข่าวประชาสัมพันธ์, 6 ส.ค. 2025
    • บทความให้แนวโน้มทั่วไปและไม่เกี่ยวข้องกับบุคคล ปัจจัยส่วนบุคคลสามารถแตกต่างกันอย่างมาก ขอคำแนะนำทางการแพทย์ส่วนบุคคลสำหรับการตัดสินใจด้านการดูแลสุขภาพส่วนบุคคลเสมอ

    ที่มา: Healthday

    โพสต์แล้ว : 2025-08-09 00:00

    อ่านเพิ่มเติม

    ข้อจำกัดความรับผิดชอบ

    มีความพยายามทุกวิถีทางเพื่อให้แน่ใจว่าข้อมูลที่ให้โดย Drugslib.com นั้นถูกต้อง ทันสมัย -วันที่และเสร็จสมบูรณ์ แต่ไม่มีการรับประกันใดๆ เกี่ยวกับผลกระทบดังกล่าว ข้อมูลยาเสพติดที่มีอยู่นี้อาจจะเป็นเวลาที่สำคัญ. ข้อมูล Drugslib.com ได้รับการรวบรวมเพื่อใช้โดยผู้ประกอบวิชาชีพด้านการดูแลสุขภาพและผู้บริโภคในสหรัฐอเมริกา ดังนั้น Drugslib.com จึงไม่รับประกันว่าการใช้นอกสหรัฐอเมริกามีความเหมาะสม เว้นแต่จะระบุไว้เป็นอย่างอื่นโดยเฉพาะ ข้อมูลยาของ Drugslib.com ไม่ได้สนับสนุนยา วินิจฉัยผู้ป่วย หรือแนะนำการบำบัด ข้อมูลยาของ Drugslib.com เป็นแหล่งข้อมูลที่ได้รับการออกแบบมาเพื่อช่วยเหลือผู้ปฏิบัติงานด้านการดูแลสุขภาพที่ได้รับใบอนุญาตในการดูแลผู้ป่วยของตน และ/หรือเพื่อให้บริการลูกค้าที่ดูบริการนี้เป็นส่วนเสริมและไม่ใช่สิ่งทดแทนความเชี่ยวชาญ ทักษะ ความรู้ และการตัดสินด้านการดูแลสุขภาพ ผู้ปฏิบัติงาน

    การไม่มีคำเตือนสำหรับยาหรือยาผสมใด ๆ ไม่ควรตีความเพื่อบ่งชี้ว่ายาหรือยาผสมนั้นปลอดภัย มีประสิทธิผล หรือเหมาะสมสำหรับผู้ป่วยรายใดรายหนึ่ง Drugslib.com ไม่รับผิดชอบต่อแง่มุมใดๆ ของการดูแลสุขภาพที่ดำเนินการโดยได้รับความช่วยเหลือจากข้อมูลที่ Drugslib.com มอบให้ ข้อมูลในที่นี้ไม่ได้มีวัตถุประสงค์เพื่อให้ครอบคลุมถึงการใช้ คำแนะนำ ข้อควรระวัง คำเตือน ปฏิกิริยาระหว่างยา ปฏิกิริยาการแพ้ หรือผลข้างเคียงที่เป็นไปได้ทั้งหมด หากคุณมีคำถามเกี่ยวกับยาที่คุณกำลังใช้ โปรดตรวจสอบกับแพทย์ พยาบาล หรือเภสัชกรของคุณ

    คำหลักยอดนิยม