Ai chatbots facilmente enganados por informações médicas falsas

Siga Drugslib em

Por Dennis Thompson HealthDay Reporter

revisado clinicamente por droga.com

via saúde

Sexta-feira, 8 de agosto de 2025-já ouviu falar da síndrome de Casper-Lew ou doença de Helkand? Que tal células sanguíneas negras ou rebote renal de sangue de tempestade eco?

Se não, não se preocupe. Estes são todas as condições falsas de saúde ou termos médicos inventados.

Mas os chatbots de inteligência artificial (AI) os trataram como fato, e até elaborou descrições detalhadas para eles fora do ar, diz um novo estudo. href = "https://www.nature.com/articles/s43856-025-01021-3.epdf?sharing_token=jayp-cummw6fj42nbvslktrggn0jAjwel9jnr3Zotv0MeSo8zrtgiH1is9 MJZ7UCUR5V6MFBSBHSODA69KZKU2HZRI7K2QDALV9E7IQMZ-DXK20UJSA8RUA9TRCCIPU69XOWGUWE_CNISWKGCSGNCIWBPXCFIZEZAÇÕES Medicamento .

"O que vimos em geral é que os chatbots da IA podem ser facilmente enganados por detalhes médicos falsos, independentemente de esses erros serem intencionais ou acidentais", pesquisador principal Nada disso é verdade. Em vez disso, essas respostas são o que os pesquisadores chamam de "alucinações"-fatos falsos expulsos por programas de IA confusos.

Para o estudo, os pesquisadores criaram 300 consultas de IA relacionadas a questões médicas, cada uma contendo um detalhe fabricado, como um teste de laboratório fictício chamado "neuroestatina sérica" ou um sintoma compensado como "sinal de espiral cardíaco". mostrou.

"Mesmo um único termo inventado pode desencadear uma resposta detalhada e decisiva baseada inteiramente na ficção", pesquisador sênior dr. Eyal Klang disse em um comunicado à imprensa. Klang é chefe de IA generativa da Escola de Medicina de Icahn em Mount Sinai, na cidade de Nova York.

"Em essência, este aviso instruiu o modelo a usar apenas informações clinicamente validadas e reconhecer a incerteza em vez de especular mais", escreveram os pesquisadores. “Ao impor essas restrições, o objetivo era incentivar o modelo a identificar e sinalizar elementos duvidosos, em vez de gerar conteúdo não suportado.”

que a cautela fez com que as taxas de alucinação caíssem para cerca de 45%, descobriram os pesquisadores.

A IA de melhor desempenho, ChatGPT-4O, teve uma taxa de alucinação em torno de 50%, e isso caiu para menos de 25% quando a cautela foi adicionada aos avisos, mostram os resultados. “Isso nos diz que essas ferramentas podem ser mais seguras, mas apenas se levarmos a sério o design e as salvaguardas incorporadas.”

A equipe planeja continuar sua pesquisa usando registros reais de pacientes, testando instruções de segurança mais avançadas.

“Nosso estudo ilumina um ponto cego na forma como as ferramentas atuais da IA lidam com a desinformação, especialmente nos cuidados de saúde”, pesquisador sênior dr. Girish Nadkarni , disse o diretor da IA do sistema de saúde do Monte Sinai, em comunicado à imprensa. "Ele ressalta uma vulnerabilidade crítica em como os sistemas de IA de hoje lidam com a desinformação em ambientes de saúde".

"A solução não é abandonar a IA na medicina, mas para projetar ferramentas que podem identificar informações duvidosas, responder com cautela e garantir que a supervisão humana permaneça central", disse Nadkarni. "Ainda não estamos lá, mas com medidas de segurança deliberadas, é uma meta alcançável". Nos artigos médicos, fornecem tendências gerais e não se referem aos indivíduos. Fatores individuais podem variar muito. Sempre procure aconselhamento médico personalizado para decisões individuais de saúde.

Fonte: HealthDay

Postou : 2025-08-09 00:00

Consulte Mais informação

Isenção de responsabilidade

Todos os esforços foram feitos para garantir que as informações fornecidas por Drugslib.com sejam precisas, atualizadas -date e completo, mas nenhuma garantia é feita nesse sentido. As informações sobre medicamentos aqui contidas podem ser sensíveis ao tempo. As informações do Drugslib.com foram compiladas para uso por profissionais de saúde e consumidores nos Estados Unidos e, portanto, o Drugslib.com não garante que os usos fora dos Estados Unidos sejam apropriados, a menos que especificamente indicado de outra forma. As informações sobre medicamentos do Drugslib.com não endossam medicamentos, diagnosticam pacientes ou recomendam terapia. As informações sobre medicamentos do Drugslib.com são um recurso informativo projetado para ajudar os profissionais de saúde licenciados a cuidar de seus pacientes e/ou para atender os consumidores que veem este serviço como um complemento, e não um substituto, para a experiência, habilidade, conhecimento e julgamento dos cuidados de saúde. profissionais.

A ausência de uma advertência para um determinado medicamento ou combinação de medicamentos não deve de forma alguma ser interpretada como indicação de que o medicamento ou combinação de medicamentos é seguro, eficaz ou apropriado para qualquer paciente. Drugslib.com não assume qualquer responsabilidade por qualquer aspecto dos cuidados de saúde administrados com a ajuda das informações fornecidas por Drugslib.com. As informações aqui contidas não se destinam a cobrir todos os possíveis usos, instruções, precauções, advertências, interações medicamentosas, reações alérgicas ou efeitos adversos. Se você tiver dúvidas sobre os medicamentos que está tomando, consulte seu médico, enfermeiro ou farmacêutico.

Palavras -chave populares