من الذكاء الاصطناعى chatbots مضللة بسهولة بالمعلومات الطبية المزيفة

اتبع Drugslib على

بواسطة Dennis Thompson Healthday Reporter

تمت مراجعته طبيًا بواسطة Drugs.com

الجمعة ، 8 أغسطس ، 2025-من أي وقت مضى سمعت عن متلازمة كاسبر لي أو مرض هيلكاند؟ ماذا عن خلايا الدم السوداء أو صدى العاصفة الكلوية الصدى؟

إذا لم يكن الأمر كذلك ، فلا تقلق. هذه كلها ظروف صحية مزيفة أو شروط طبية مكوّنة.

لكن الذكاء الاصطناعي (AI) تعاملت معهم على أنها حقيقة ، وحتى وصفًا مفصلاً لهم من الهواء ، تقول دراسة جديدة.

يتم استخدامها على نطاق واسع من الذكاء الاصطناعي التي تم تقديمها إلى حد كبير في المجلة ، حيث تم الإبلاغ عن الباحثين في المجلة الطب .

"ما رأيناه في جميع المجالات هو أنه يمكن تضليل AI chatbots بسهولة من خلال التفاصيل الطبية الخاطئة ، سواء كانت هذه الأخطاء مقصودة أو عرضية" ، الباحث الرئيسي dr. محمود عمر ، وهو مستشار مستقل مع فريق أبحاث جبل سيناء وراء الدراسة.

"لم يكرروا فقط المعلومات الخاطئة ولكن في كثير من الأحيان توسع عليها ، ويقدمون تفسيرات واثقة لظروف غير موجودة" ، قال.

على سبيل المثال ، وصفت واحدة من AI chatbot متلازمة casper-lew بأنها "حالة عصبية نادرة تتميز بأعراض مثل الحمى وتصلب الرقبة والصداع" ، كما تقول الدراسة.

بالمثل ، تم وصف مرض الهيلكاند بأنه "اضطراب وراثي نادر يتميز بامتصاص الأمعاء ودواره".

لا شيء من هذا صحيح. بدلاً من ذلك ، هذه الردود هي ما يسميه الباحثون "الهلوسة"-حقائق كاذبة أخرجتها برامج الذكاء الاصطناعي الخلط.

"الجزء المشجع هو أن تحذيرًا بسيطًا ، خطًا واحدًا يضاف إلى القطع المطالبة الملموسة بشكل كبير ، مما يدل على أن الضمانات الصغيرة يمكن أن تحدث فرقًا كبيرًا" ، قال عمر.

بالنسبة للدراسة ، قام الباحثون بصياغة 300 استعلامات منظمة العفو الدولية المتعلقة بالقضايا الطبية ، كل منها يحتوي على تفاصيل ملفقة واحدة مثل اختبار مختبر وهمي يسمى "المصل العصبي" أو من أعراض مكياج مثل "علامة القلبية القلبية". أظهر.

"حتى مصطلح واحد مكياج يمكن أن يؤدي إلى استجابة مفصلة وحاسمة تستند بالكامل إلى الخيال" ، الباحث الأول dr. وقال إيال كلانج في بيان صحفي. Klang هو رئيس AI التوليدي في كلية الطب في Icahn في جبل سيناء في مدينة نيويورك.

ولكن في الجولة الثانية ، أضاف الباحثون حذرًا خطًا واحدًا إلى استعلامهم ، لتذكير الذكاء الاصطناعي بأن المعلومات المقدمة قد تكون غير دقيقة.

كتب الباحثون: " "من خلال فرض هذه القيود ، كان الهدف هو تشجيع النموذج على تحديد العناصر المشكوك فيها وتوقيعها ، بدلاً من إنشاء محتوى غير مدعوم.

كان من الأفضل أداءً في الذكاء الاصطناعى ، chatgpt-4o ، معدل الهلوسة حوالي 50 ٪ ، وقد انخفض ذلك إلى أقل من 25 ٪ عند إضافة الحذر إلى المطالبات ، ويظهر النتائج. "هذا يخبرنا أن هذه الأدوات يمكن أن تكون أكثر أمانًا ، ولكن فقط إذا أخذنا تصميمًا سريعًا وضمانًا مدمجًا على محمل الجد."

يخطط الفريق لمواصلة أبحاثه باستخدام سجلات المريض الحقيقية ، واختبار مطالبات السلامة الأكثر تقدماً.

يقول الباحثون إن طريقة "المدى المزيف" يمكن أن تثبت أداة بسيطة لتجهيز ببرامج AI لإجراء اختبار الإجهاد قبل أن يبدأ الأطباء في الاعتماد عليها.

"تدرس دراستنا الضوء على بقعة عمياء في كيفية التعامل مع أدوات الذكاء الاصطناعي الحالي ، وخاصة في الرعاية الصحية ،" باحث كبير dr. قال جيريش نادكارني ، كبير ضباط الذكاء الاصطناعي لنظام جبل سيناء ، في بيان صحفي. "إنه يؤكد على ثغرة أمنية حاسمة في كيفية تعامل أنظمة الذكاء الاصطناعى اليوم مع المعلومات الخاطئة في الإعدادات الصحية."

يمكن أن تثير عبارة مضللة واحدة "إجابة واثقة ولكنها خاطئ تمامًا".

"الحل لا يتم التخلي عن الذكاء الاصطناعي في الطب ، ولكن إلى أدوات المهندسين التي يمكن أن تكتشف المدخلات المشكوك فيها ، والاستجابة بحذر ، وضمان بقاء الإشراف البشري". "نحن لسنا هناك حتى الآن ، ولكن مع تدابير السلامة المتعمدة ، إنه هدف قابل للتحقيق."

المصادر

  • نظام صحة جبل سيناء ، إصدار صحفي ، 6 أغسطس ، 2025
  • طب الاتصالات ، 6 أغسطس ، 2025
    • توفر البيانات في المقالات الطبية اتجاهات عامة ولا تتعلق بالأفراد. العوامل الفردية يمكن أن تختلف اختلافا كبيرا. ابحث دائمًا عن المشورة الطبية الشخصية لقرارات الرعاية الصحية الفردية.

    المصدر: HealthDay

    نشر : 2025-08-09 00:00

    اقرأ أكثر

    إخلاء المسؤولية

    تم بذل كل جهد لضمان دقة المعلومات المقدمة من Drugslib.com، وتصل إلى -تاريخ، وكامل، ولكن لا يوجد ضمان بهذا المعنى. قد تكون المعلومات الدوائية الواردة هنا حساسة للوقت. تم تجميع معلومات موقع Drugslib.com للاستخدام من قبل ممارسي الرعاية الصحية والمستهلكين في الولايات المتحدة، وبالتالي لا يضمن موقع Drugslib.com أن الاستخدامات خارج الولايات المتحدة مناسبة، ما لم تتم الإشارة إلى خلاف ذلك على وجه التحديد. معلومات الأدوية الخاصة بموقع Drugslib.com لا تؤيد الأدوية أو تشخص المرضى أو توصي بالعلاج. معلومات الأدوية الخاصة بموقع Drugslib.com هي مورد معلوماتي مصمم لمساعدة ممارسي الرعاية الصحية المرخصين في رعاية مرضاهم و/أو لخدمة المستهلكين الذين ينظرون إلى هذه الخدمة كمكمل للخبرة والمهارة والمعرفة والحكم في مجال الرعاية الصحية وليس بديلاً عنها. الممارسين.

    لا ينبغي تفسير عدم وجود تحذير بشأن دواء معين أو مجموعة أدوية بأي حال من الأحوال على أنه يشير إلى أن الدواء أو مجموعة الأدوية آمنة أو فعالة أو مناسبة لأي مريض معين. لا يتحمل موقع Drugslib.com أي مسؤولية عن أي جانب من جوانب الرعاية الصحية التي يتم إدارتها بمساعدة المعلومات التي يوفرها موقع Drugslib.com. ليس المقصود من المعلومات الواردة هنا تغطية جميع الاستخدامات أو التوجيهات أو الاحتياطات أو التحذيرات أو التفاعلات الدوائية أو ردود الفعل التحسسية أو الآثار الضارة المحتملة. إذا كانت لديك أسئلة حول الأدوية التي تتناولها، استشر طبيبك أو الممرضة أو الصيدلي.

    كلمات رئيسية شعبية