Antes da resposta

Numa discussão recente de enfermaria, vi um colega colar um caso clínico numa IA e perguntar: "o que deve ser feito para um resultado de exame tão alto?" Um prompt, e o julgamento tinha trocado de mãos. A máquina raciocinaria o caso; nós aceitaríamos ou rejeitaríamos o veredito dela. Então tentamos o contrário. Refizemos a pergunta em torno da nossa própria hipótese, e o mesmo motor devolveu algo diferente: não um veredito, mas a evidência, organizada a favor e contra o que estávamos pensando. A decisão voltou a ser nossa.

Mesmo caso, mesmo modelo, mesmos médicos. A única coisa que mudou foi a forma da interação, e com ela, quem pensou primeiro.

A erosão mora no invólucro

A IA médica é avaliada, comprada e adotada com base em uma pergunta: ela acerta? Essa pergunta importa, mas esconde outra, mais urgente: o que a ferramenta faz com o julgamento de quem a usa?

Julgamento clínico é uma capacidade cultivada: "as faculdades mentais e morais, como as musculares, só se aperfeiçoam pelo uso" (Mill, On Liberty). O raciocínio diagnóstico e de conduta é o registro onde a sabedoria prática do médico se forma: observar, hipotetizar, testar contra a realidade, comprometer-se com uma conduta, aprender com o desfecho. Uma ferramenta que executa esse ciclo pelo médico, por mais útil que seja no momento, confisca o exercício que mantém a capacidade viva.

Isso não é especulação. O viés de automação em sistemas de apoio à decisão clínica está documentado há mais de uma década (Goddard et al., 2012). O deskilling, a perda de habilidade pelo desuso, já apareceu no mundo real: num estudo observacional multicêntrico, a taxa de detecção de adenomas de endoscopistas experientes trabalhando sem IA caiu seis pontos percentuais depois de meses de exposição rotineira à assistência de IA (Budzyń et al., 2025). O risco é mais grave para quem está em formação. Já se fala em never-skilling: quem aprende medicina com oráculos pode nunca chegar a formar a habilidade.

Essa palavra, formação, é onde isso deixa de ser abstrato para mim. Pratico pediatria há vinte anos e, por boa parte desse tempo, também fui preceptor. Julgamento clínico se formando num residente é algo que acompanhei caso a caso: hipótese por hipótese, erro por erro, devagar, e só quando o residente pensa por conta própria. Se as ferramentas que estamos entregando a ele vão deixá-lo continuar pensando, isso decide que tipo de médico ele se torna. E, neste momento, ninguém está tomando essa decisão de propósito. Ela chega como default.

Mas aqui está a parte que considero mais consequente: a erosão não mora no modelo. Mora no invólucro, a camada de design de interação entre o modelo e o médico. O mesmo motor que respondeu ao prompt deferente do meu colega com um veredito respondeu ao nosso prompt refeito com evidência. Na enfermaria, pudemos refazer a pergunta porque sabíamos que dava; um invólucro fixa uma dessas duas formas como seu default, e o default é o que recebe todo médico que não luta contra a ferramenta. O design em que um modelo é embrulhado decide se o médico faz o primeiro movimento, o exercício do próprio julgamento, ou é convidado a abdicar dele.

Invisível exatamente onde importa

Agora tente avaliar essa propriedade antes de adotar uma ferramenta. Nada vai te ajudar. Benchmarks medem a acurácia do modelo. Guidelines descrevem o estudo depois de feito. A pesquisa de over-reliance precisa de usuários em laboratório. Guias de design existem, mas aconselham quem constrói; nada pontua uma ferramenta pronta. Nenhum desses olha para a estrutura de interação da ferramenta em si: a propriedade que molda, a cada uso, se o julgamento é exercitado ou deslocado. É também a única que poderia ser inspecionada antes da adoção; só falta algo que te diga onde procurar.

E não sou eu que estou afirmando essa lacuna: o próprio campo a admitiu. A DECIDE-AI, guia de reporte para a avaliação clínica precoce de sistemas de IA, excluiu confiança do seu consenso porque "atualmente não existe um modo comumente aceito de medir confiança no contexto da IA clínica" (Vasey et al., 2022). O guia do próprio campo nomeia o buraco: o lado humano da IA clínica não tem medição aceita. A estrutura de interação é a ponta tratável desse buraco, a parte que se pode inspecionar independente de estudo com usuários.

Três achados inconvenientes

Duas objeções aparecem sempre que discuto isso. A primeira: "explicações resolvem; faça a IA mostrar o raciocínio." A segunda: "regule." A literatura experimental é inconveniente para as duas.

Explicações primeiro. A prosa de raciocínio encadeado pode ser uma racionalização infiel: um modelo pode chegar à conclusão por razões que o raciocínio declarado nunca menciona, então ler a cadeia parece verificação, mas não é (Turpin et al., 2023). Explicações reduzem a dependência excessiva sob uma condição específica: quando tornam verificar mais barato que deferir (Vasconcelos et al., 2023). Um paredão de prosa confiante eleva esse custo; evidência ligada a fontes checáveis, dos dois lados da questão, o reduz. O que protege o julgamento não é mais explicação. É contestação mais barata.

Agora a regulação. Os designs que melhor preservam o julgamento, os que pedem a sua hipótese primeiro e te desaceleram no momento certo, são os que os usuários menos preferem (Buçinca et al., 2021). Um mercado guiado apenas pela preferência no momento do uso não vai selecionar por preservação de julgamento. Mas a não preferência no momento não é escolha refletida: o médico que se irrita com a fricção às 3 da manhã ainda pode escolher, com reflexão, a ferramenta que mantém sua habilidade viva, do mesmo jeito que escolhe o programa de residência mais difícil em vez do mais fácil. O que ele não pode é escolher uma propriedade que não consegue ver. Um mandato decidindo por ele repetiria a doença em nome da cura, protegendo seu julgamento ao atropelá-lo. O remédio é a transparência: tornar os defaults visíveis, para que o clínico que escolhe uma ferramenta, e quem constrói uma, possam decidir deliberadamente.

E a mesma literatura esconde um terceiro achado, inconveniente só para o fatalismo: o oráculo não é o único invólucro. O apoio à decisão pode ser avaliativo: pode tomar as suas hipóteses e organizar a evidência a favor e contra cada uma, de modo que o julgamento continue sendo seu (Miller, 2023). Foi nisso que o nosso prompt refeito na enfermaria tropeçou. A falha do oráculo não está em errar; está em responder antes de você ter pensado.

Tornando os defaults visíveis

Então estou construindo esse instrumento, um revelador de defaults para IA médica: First, Think. É um conjunto de itens estruturais de baixa inferência, cada um respondível olhando uma ferramenta por minutos, não meses: Ela pede a sua hipótese antes de revelar a dela? Devolve uma conclusão única ou um diferencial que você pode contestar? Pede que você se comprometa com um juízo antes de prosseguir? Liga as afirmações a fontes que você pode checar? Os itens perfilam o risco de uma ferramenta deslocar o julgamento clínico em cinco dimensões, nunca como nota única, porque uma nota única seria mais uma coisa a que deferir.

O instrumento vem com a sua prova. Um catálogo pré-registrado de cerca de oito ferramentas reais (de LLMs genéricos usados como diagnosticadores a sistemas comerciais de apoio à decisão clínica), pontuado com protocolo público, mostrando se os designs de fato diferem. E um par contrastante clicável: o mesmo caso clínico, o mesmo motor, dois invólucros, oráculo versus augmentation, para que qualquer um sinta, em dois minutos, a diferença entre ser respondido e ser perguntado.

Vale ser explícito sobre o que isso não é. Não é um benchmark: não mede se a IA acerta. Não é uma certificação, um selo ou um chamado por regulação: é um instrumento epistêmico voluntário nas mãos de quem escolhe ferramentas e de quem as constrói. E não alega medir comportamento ou desfechos: mede risco estrutural (o que o design oferece ao médico que não luta contra ele) e declara o resto, honestamente, como trabalho futuro.

O instrumento é desenhado para se tornar desnecessário. Depois de algumas aplicações, o médico internalizou as perguntas e não precisa mais dele para ver uma ferramenta com clareza. Ferramenta boa é como professor bom: te prepara para precisar cada vez menos dela.

Os defaults estão sendo definidos agora. As ferramentas adotadas hoje estão moldando o que "IA médica" vai significar para uma geração de médicos. E a maioria dessas ferramentas responde primeiro. Médico é alguém que sabe, não alguém que despacha casos: sua habilidade só existe enquanto é exercitada. Entre ele e a resposta pronta resta um ponto da cadeia onde o primeiro movimento ainda é inteiramente seu: a escolha da ferramenta. Essa escolha merece ser informada.

A pergunta que mais importa sobre uma ferramenta de IA médica não é "ela acerta?". É: "quem pensa primeiro quando eu a uso?"