IA explicável (XAI)

Pílula de Conhecimento

IA explicável

XAI · explainable AI · o mapa de calor prova que a IA acertou?

A explicação mostra onde o modelo pôs peso, não se ele acertou.

Ela serve para auditar a ferramenta, e não para dispensar a sua conferência nem a validação.

IA explicável:
o mapa de calor prova que a IA acertou?

Pense num residente que aponta para uma região da radiografia e diz "foi por aqui". Ele mostrou onde olhou, mas não disse o que viu, e apontar para o lugar certo não garante que a leitura esteja certa. Os mapas de calor funcionam assim.

Dois tipos de explicação

O vão da interpretação

Quem decide o que a explicação significa é o humano, e a tendência humana é supor que o modelo usou o mesmo achado que nós usaríamos — um exemplo de viés de confirmação. Mesmo as partes mais quentes do mapa misturam informação útil e inútil, do ponto de vista de um especialista, e localizar a região não revela o que, ali, o modelo considerou útil. A pergunta que importa não é onde o modelo olhou, mas se era razoável olhar ali.

Até redes não treinadas já produziram mapas de saliência de aparência tranquilizadora, segundo um estudo citado pela literatura sobre o tema.

Onde a explicação ajuda: a auditoria

Num estudo com radiografias de tórax de três sistemas hospitalares dos Estados Unidos, os mapas de ativação mostraram que uma rede treinada para reconhecer de que hospital vinha o exame dava peso ao marcador metálico de lateralidade, que os técnicos põem no canto da imagem.

Zech et al., PLoS Medicine, 2018

A rede não precisava do marcador: a maior parte das regiões da imagem já indicava a origem. Como a prevalência de pneumonia variava muito entre os hospitais, sinais assim podem servir de atalho para "prever" a doença. Outro estudo, sobre modelos de detecção de covid-19 em radiografias de tórax, mostrou com técnicas de IA explicável que eles se apoiavam em fatores de confusão, e não na doença — e alertou que testar o modelo em dados externos não basta para garantir que ele usa a patologia, porque os atalhos nem sempre derrubam o desempenho num hospital novo.

Um exemplo citado na literatura: os mapas de um modelo de câncer de pele revelaram que ele se concentrava mais nas marcações cirúrgicas feitas na pele do que nas lesões.

O teste com médicos

Um estudo randomizou 457 profissionais de medicina hospitalar (médicos hospitalistas, nurse practitioners e physician assistants) de 13 estados americanos, entre abril de 2022 e janeiro de 2023, numa pesquisa com vinhetas clínicas de insuficiência respiratória aguda. Alguns casos vinham com a sugestão de um modelo com viés proposital: pneumonia se o paciente tinha 80 anos ou mais, insuficiência cardíaca se o IMC era 30 ou mais. A explicação era um mapa de calor Grad-CAM sobre a radiografia.

Jabbour et al., JAMA, 2023

A melhora de 2,3 pontos trazida pelo mapa, no modelo enviesado, não foi estatisticamente significativa. Os autores concluem que as explicações por imagem mais usadas não neutralizaram o efeito nocivo do modelo enviesado.

Na falta de métodos de explicação adequados, parte dos pesquisadores defende validação interna e externa rigorosa como caminho mais direto — e desaconselha exigir explicação como requisito para usar um modelo na clínica. É uma posição de artigo de opinião, não consenso: outros defendem a IA explicável como pré-requisito.

Um exemplo brasileiro

No A.C.Camargo Cancer Center, um modelo de aprendizado de máquina treinado com dados de 7.066 pacientes operados de tireoidectomia total estima o risco de hipocalcemia transitória. Validado prospectivamente no próprio hospital, em 149 pacientes, o modelo pós-operatório teve AUC de 0,94. O SHAP mostrou o PTH pós-operatório baixo como a variável mais importante, além do esvaziamento cervical bilateral, da duração da cirurgia, do horário de início e da carga de trabalho do cirurgião.

Os próprios autores avisam: as associações com duração, horário e carga de trabalho não são causais e provavelmente funcionam como marcadores da complexidade do caso; o SHAP pode dar interpretações instáveis quando as variáveis são muito correlacionadas; e os dados são de um único centro, sem validação externa.

Scientific Reports, 2026

O que a resolução garante

O que esta explicação permite concluir?

Cinco sugestões de IA, cada uma com a sua explicação, todas fictícias. Para cada uma, escolha o que a explicação permite concluir.

Os casos são fictícios, escritos para o exercício.

Checklist

Material educativo, não parecer jurídico. Diante de um caso concreto, consulte o jurídico da sua instituição ou o seu Conselho Regional de Medicina.

Referências

1. Ghassemi M, Oakden-Rayner L, Beam AL. The false hope of current approaches to explainable artificial intelligence in health care. The Lancet Digital Health. 2021;3(11):e745-e750. doi:10.1016/S2589-7500(21)00208-9.

2. Jabbour S, Fouhey D, Shepard S, et al. Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study. JAMA. 2023;330(23):2275-2284. doi:10.1001/jama.2023.22295.

3. Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Medicine. 2018;15(11):e1002683. doi:10.1371/journal.pmed.1002683.

4. DeGrave AJ, Janizek JD, Lee SI. AI for radiographic COVID-19 detection selects shortcuts over signal. Nature Machine Intelligence. 2021;3:610-619. doi:10.1038/s42256-021-00338-7.

5. Artificial intelligence for predicting transient hypocalcemia after total thyroidectomy. Scientific Reports. 2026;16:22145 (A.C.Camargo Cancer Center).

6. Bassette F. Inteligência artificial prevê risco de complicação após cirurgia de tireoide. Agência FAPESP, 2026.

7. Conselho Federal de Medicina. Resolução CFM nº 2.454, de 11 de fevereiro de 2026. Normatiza o uso da inteligência artificial na medicina. Diário Oficial da União, 27 fev. 2026.

8. ICS & Xdiag Tecnologias. Medicina com IA: O Método Prático para o Médico Moderno — Módulo 1. 2026.