AI chatbots dễ dàng bị đánh lừa bởi thông tin y tế giả

Theo dõi Drugslib trên

của Dennis Thompson HealthDay Reporter

Thứ Sáu, ngày 8 tháng 8 năm 2025-Đã bao giờ nghe nói về Hội chứng Casper-Lew hay bệnh Helkand? Làm thế nào về các tế bào máu đen hoặc hồi phục bão thận vang lên tiếng vang?

Nếu không, không phải lo lắng. Đây là tất cả các tình trạng sức khỏe giả hoặc các thuật ngữ y tế được tạo thành.

Nhưng Chatbots Trí tuệ nhân tạo (AI) đã coi chúng là thực tế, và thậm chí các mô tả chi tiết được chế tạo cho chúng ra khỏi không khí mỏng, một nghiên cứu mới nói. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?shared_token=jayp-cummw6fj42nbvslktrgn0jajwel9jnr3zotv0mes MjZ7ucur5v6mfbsbhsoda69kzku2hzri7k2qdalv9e7iqmz-dxk20ujsa8rua9trccipu69xowguwe_cniswkgcsgnzciw Y học .

Những gì chúng ta đã thấy trên bảng là AI chatbot có thể dễ dàng bị đánh lừa bởi các chi tiết y tế sai, cho dù những lỗi đó là cố ý hay tình cờ, nhà nghiên cứu chính của nhóm Đối với nghiên cứu, các nhà nghiên cứu đã tạo ra 300 truy vấn AI liên quan đến các vấn đề y tế, mỗi vấn đề chứa một chi tiết được chế tạo như xét nghiệm phòng thí nghiệm giả tưởng có tên là huyết thanh neurostatin, hoặc một triệu chứng được tạo ra như các chương trình. hiển thị.

Ngay cả một thuật ngữ trang điểm duy nhất cũng có thể kích hoạt một phản ứng chi tiết, quyết định hoàn toàn dựa trên tiểu thuyết, nhà nghiên cứu cao cấp của Hồi Eyal Klang cho biết trong một bản tin mới. Klang là người đứng đầu AI thế hệ tại Trường Y khoa Icahn tại Núi Sinai ở thành phố New York.

Về bản chất, lời nhắc này đã hướng dẫn mô hình chỉ sử dụng thông tin được xác nhận lâm sàng và thừa nhận sự không chắc chắn thay vì suy đoán thêm, các nhà nghiên cứu viết. Bằng cách áp đặt các ràng buộc này, mục đích là khuyến khích mô hình xác định và gắn cờ các yếu tố đáng ngờ, thay vì tạo ra nội dung không được hỗ trợ.

AI hoạt động tốt nhất, TATGPT-4O, có tỷ lệ ảo giác khoảng 50% và điều đó giảm xuống dưới 25% khi cảnh báo được thêm vào lời nhắc, kết quả cho thấy. Điều đó cho chúng ta biết những công cụ này có thể được thực hiện an toàn hơn, nhưng chỉ khi chúng ta thực hiện thiết kế nhanh chóng và các biện pháp bảo vệ tích hợp nghiêm túc.

Nhóm có kế hoạch tiếp tục nghiên cứu bằng cách sử dụng hồ sơ bệnh nhân thực sự, kiểm tra các lời nhắc an toàn nâng cao hơn.

Một nghiên cứu của chúng tôi làm sáng tỏ một điểm mù trong cách các công cụ AI hiện tại xử lý thông tin sai lệch, đặc biệt là trong chăm sóc sức khỏe, nhà nghiên cứu cao cấp của Hồi Girish Nadkarni , giám đốc AI của Hệ thống Y tế Mount Sinai, cho biết trong một bản tin mới. Đây là một lỗ hổng quan trọng trong cách các hệ thống AI ngày nay đối phó với thông tin sai lệch trong các thiết lập sức khỏe.

Một giải pháp là từ bỏ AI trong y học, nhưng để kỹ sư các công cụ có thể phát hiện ra đầu vào đáng ngờ, thận trọng trả lời và đảm bảo sự giám sát của con người vẫn là trung tâm ", Nadkarni nói. "Chúng tôi chưa có ở đó, nhưng với các biện pháp an toàn có chủ ý, đó là một mục tiêu có thể đạt được. Các bài viết y tế cung cấp xu hướng chung và không liên quan đến các cá nhân. Các yếu tố cá nhân có thể thay đổi rất nhiều. Luôn tìm kiếm lời khuyên y tế được cá nhân hóa cho các quyết định chăm sóc sức khỏe cá nhân.

Nguồn: Healthday

Đã đăng : 2025-08-09 00:00

Đọc thêm

Tuyên bố từ chối trách nhiệm

Chúng tôi đã nỗ lực hết sức để đảm bảo rằng thông tin do Drugslib.com cung cấp là chính xác, cập nhật -ngày và đầy đủ, nhưng không có đảm bảo nào được thực hiện cho hiệu ứng đó. Thông tin thuốc trong tài liệu này có thể nhạy cảm về thời gian. Thông tin về Drugslib.com đã được biên soạn để các bác sĩ chăm sóc sức khỏe và người tiêu dùng ở Hoa Kỳ sử dụng và do đó Drugslib.com không đảm bảo rằng việc sử dụng bên ngoài Hoa Kỳ là phù hợp, trừ khi có quy định cụ thể khác. Thông tin thuốc của Drugslib.com không xác nhận thuốc, chẩn đoán bệnh nhân hoặc đề xuất liệu pháp. Thông tin thuốc của Drugslib.com là nguồn thông tin được thiết kế để hỗ trợ các bác sĩ chăm sóc sức khỏe được cấp phép trong việc chăm sóc bệnh nhân của họ và/hoặc phục vụ người tiêu dùng xem dịch vụ này như một sự bổ sung chứ không phải thay thế cho chuyên môn, kỹ năng, kiến ​​thức và đánh giá về chăm sóc sức khỏe các học viên.

Việc không có cảnh báo đối với một loại thuốc hoặc sự kết hợp thuốc nhất định không được hiểu là chỉ ra rằng loại thuốc hoặc sự kết hợp thuốc đó là an toàn, hiệu quả hoặc phù hợp với bất kỳ bệnh nhân nào. Drugslib.com không chịu bất kỳ trách nhiệm nào đối với bất kỳ khía cạnh nào của việc chăm sóc sức khỏe được quản lý với sự hỗ trợ của thông tin Drugslib.com cung cấp. Thông tin trong tài liệu này không nhằm mục đích bao gồm tất cả các công dụng, hướng dẫn, biện pháp phòng ngừa, cảnh báo, tương tác thuốc, phản ứng dị ứng hoặc tác dụng phụ có thể có. Nếu bạn có thắc mắc về loại thuốc bạn đang dùng, hãy hỏi bác sĩ, y tá hoặc dược sĩ.

Từ khóa phổ biến