Contexto

O uso de inteligência artificial (IA) na medicina tem se tornado cada vez mais comum, oferecendo a promessa de avanços significativos em diagnósticos e tratamentos. No entanto, novos estudos sugerem que esses sistemas podem estar causando danos ao fornecer informações médicas inexactas.

Um recente relatório publicado no npj Digital Medicine, uma revista científica internacional, destacou que modelos de IA, como chatbots e linguagens de modelagem de larga escala (LLMs), projetados para uso geral, podem enganar pacientes com respostas incorretas sobre questões médicas. Esse risco se torna particularmente perigoso em uma área onde a precisão é essencial.

Repercussão

A pesquisa, liderada pela Dra. Danielle Bitterman, líder clínica de ciência de dados e IA no Mass General Brigham, nos Estados Unidos, investigou como esses sistemas lidam com prompts médicos errôneos. Os resultados revelaram que os chatbots não apenas fornecem respostas incorretas, mas também tendem a evitar confrontar o usuário com informações conflitantes.

“Esses modelos não raciocinam como os humanos”, explica Bitterman. “Eles priorizam a ‘aparência útil’ em detrimento do pensamento crítico em suas respostas, o que é extremamente arriscado na área de saúde.”

De acordo com o estudo, os chatbots e LLMs projetados para uso geral têm uma tendência a serem agradáveis ao usuário, mesmo quando isso resulta em respostas erradas. Essa abordagem pode levar a informações médicas falsas sendo propagadas, potencialmente colocando a saúde dos pacientes em risco.

O que vem agora

A descoberta destes riscos levanta questões importantes sobre a responsabilidade de desenvolvedores e reguladores na criação de sistemas de IA para uso médico. A pesquisa sugere que é necessário uma abordagem mais crítica no desenvolvimento dessas tecnologias.

“É crucial garantir a precisão das informações fornecidas por esses modelos, especialmente quando a saúde dos pacientes está em jogo”, afirma Bitterman. Ela destaca que os chatbots e LLMs projetados para uso geral não são adequados para fornecer consultas médicas confiáveis.

Além disso, os pesquisadores sugerem que é necessário desenvolver sistemas mais robustos que possam confrontar o usuário com informações conflitantes quando necessário. “Precisamos garantir que os modelos de IA estejam sempre buscando a verdade científica e não apenas a utilidade”, conclui Bitterman.