Pílula 25 · Módulo 1
Validação externa
Validação externa é testar um modelo de IA já pronto em dados novos, de outro lugar ou de um período posterior, para ver se o desempenho se repete.
Xdiag® Tecnologias
Módulo 1 · 2026
Pílula de Conhecimento
Validação externa
external validation · testar o modelo em dados que ele nunca viu
Um desempenho medido só nos dados de onde o modelo nasceu diz pouco sobre o seu serviço.
Definição
Validação externa é testar um modelo de IA já pronto, em dados novos, de outro lugar ou de um período posterior, para ver se o desempenho se repete.
Antes de confiar no número de desempenho, pergunte onde ele foi medido.
IA na Medicina — ICS & Xdiag®xdiag.com.br
Xdiag® Tecnologias
Pílula de Conhecimento — Módulo 1
Validação externa:
a IA funciona fora do hospital de origem?
a IA funciona fora do hospital de origem?
O número que chega ao médico, num artigo, num congresso ou no material do fornecedor, em geral foi medido em outro lugar, não no serviço dele. Se foi medido nos mesmos dados em que o modelo foi desenvolvido, ele tende a ser otimista, sobretudo com poucos dados. Saber distinguir validação interna de externa é a primeira pergunta a fazer antes de usar uma ferramenta.
A Resolução CFM nº 2.454/2026 dá ao médico o direito de recusar sistemas de IA que não apresentem validação científica adequada (art. 3º, III). Material educativo, não parecer jurídico.
Interna e externa
Pense num escore clínico criado a partir dos pacientes de um único hospital: os pesos de cada variável foram ajustados para aqueles pacientes, aquele perfil e aquela forma de registrar os dados. Antes de usá-lo em outro lugar, você quer ver o escore funcionando em pacientes que não ajudaram a criá-lo. Com um modelo de IA é a mesma coisa.
Na validação interna, o desempenho é estimado com os próprios dados de desenvolvimento — por exemplo, separando ao acaso uma parte deles para teste, ou com reamostragem (validação cruzada). Na validação externa, o modelo já pronto é avaliado num conjunto de dados novo, diferente do usado no desenvolvimento. Separar ao acaso 20% dos dados do mesmo hospital é validação interna, mesmo que o artigo chame de “teste”: com poucos dados, essa divisão deixa pouco para treinar e testar; com muitos, não acrescenta informação.
Os dados da validação externa podem vir da mesma população, num período posterior (validação temporal), ou de populações e cenários diferentes: outros centros ou países, atenção primária ou secundária, adultos ou crianças. Quanto mais parecidos com os dados de desenvolvimento, mais a validação mede a reprodutibilidade; quanto mais diferentes, mais mede a transportabilidade.
Por que o desempenho cai fora de casa
Diferenças na assistência, no perfil dos pacientes e em particularidades locais — como a definição do desfecho — pesam. Pesa também o sobreajuste (overfitting): o modelo se ajusta a particularidades sem importância dos dados de desenvolvimento, a ponto de funcionar mal em dados novos.
Um estudo com radiografias de tórax de três sistemas hospitalares nos Estados Unidos (NIH, Mount Sinai e Indiana) mostra como isso acontece: uma rede treinada para identificar de qual hospital vinha a radiografia acertou em 99,95% das imagens do NIH, 99,98% do Mount Sinai e 95,6% de Indiana — olhando, entre outras coisas, para marcas que variam de local para local. A prevalência de pneumonia também era bem diferente entre os hospitais (34,2% no Mount Sinai, contra 1,0%-1,2% nos outros dois): só ordenar os exames pelo hospital de origem, sem olhar a imagem, já dava uma AUC de 0,861 numa das comparações.
O tamanho da queda
81%
dos 86 algoritmos de imagem revisados tiveram alguma queda de desempenho nos dados externos
0,63
AUC de um modelo de sepse num hospital externo, contra 0,76-0,83 na documentação interna do fabricante
6%
dos 516 estudos de IA para imagem, numa revisão, fizeram validação externa
Yu et al., Radiology: AI, 2022 (86 algoritmos, 2015-2021) · Wong et al., JAMA Internal Medicine, 2021 (Epic Sepsis Model, Michigan) · Kim et al., Korean J Radiol, 2019 (516 estudos, 2018)
O modelo de sepse da Epic estava em uso em centenas de hospitais americanos. Avaliado num hospital de fora, num estudo retrospectivo com 38.455 internações, teve AUC de 0,63 — bem abaixo do relatado pelo fabricante. Com o limiar usado no hospital, o modelo deixou de identificar 67% dos pacientes com sepse. Os autores consideram provável que a diferença se deva ao modo de considerar o momento da sepse: numa análise diferente, a AUC subiu para 0,80. Mas é um único centro, como eles mesmos apontam.
Nenhum dos 86 algoritmos melhorou ou piorou por acaso: 19% até mantiveram ou melhoraram o desempenho fora de casa. O ponto não é que toda IA piora — é que só a validação externa revela qual dos dois aconteceu.
Uma boa validação externa não é garantia
Quanto mais validações externas com bom desempenho, maior a chance de o modelo servir em outros cenários ainda não testados — “embora claramente não haja garantia”. Cada população ou cenário onde se pretende usar o modelo, no limite, deveria ter a sua própria validação.
Direito de recusa
O médico pode recusar sistemas de IA que não apresentem validação científica adequada.
art. 3º, III
Governança
Quem desenvolve ou contrata um sistema de IA deve ter processos de governança, com revisão periódica do sistema em produção.
art. 14 e Anexo III, VI
Que validação é essa?
Seis descrições de como um modelo de IA foi testado, todas fictícias. Para cada uma, diga se é validação interna, externa, ou se não dá para saber.
Os estudos são fictícios, escritos para o exercício. A classificação segue a de Collins et al. (BMJ, 2024).
Situação 1 de 60 acertos
Um modelo foi treinado com 10 mil radiografias de um hospital. Antes do treino, 20% delas foram separadas ao acaso e usadas só para o teste final.
Checklist
Antes de confiar no número
1Diante de um número de desempenho, perguntar onde ele foi medido: nos dados de desenvolvimento ou em dados novos, de outro lugar ou de outro período.
2Tratar "teste" com dados separados ao acaso do mesmo banco como validação interna.
3Conferir se a validação externa foi feita numa população e num cenário parecidos com os seus (idade, tipo de serviço, país, período).
4Desconfiar de número sem método: AUC sem dizer onde, quando e em quem.
5Antes de usar uma ferramenta no serviço, perguntar como o desempenho será acompanhado nos seus próprios pacientes.
“O desempenho de um modelo é do lugar onde foi medido; no seu serviço, ele ainda precisa ser medido.”
— ICS & Xdiag® · IA na Medicina · Módulo 1 · 2026
Material educativo, não parecer jurídico. Diante de um caso concreto, consulte o jurídico da sua instituição ou o seu Conselho Regional de Medicina.
Referências
1. Collins GS, Dhiman P, Ma J, et al. Evaluation of clinical prediction models (part 1): from development to external validation. BMJ. 2024;384:e074819. doi:10.1136/bmj-2023-074819.
2. Wong A, Otles E, Donnelly JP, et al. External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients. JAMA Internal Medicine. 2021;181(8):1065-1070. doi:10.1001/jamainternmed.2021.2626.
3. Yu AC, Mohajer B, Eng J. External Validation of Deep Learning Algorithms for Radiologic Diagnosis: A Systematic Review. Radiology: Artificial Intelligence. 2022;4(3):e210064. doi:10.1148/ryai.210064.
4. Kim DW, Jang HY, Kim KW, Shin Y, Park SH. Design Characteristics of Studies Reporting the Performance of Artificial Intelligence Algorithms for Diagnostic Analysis of Medical Images: Results from Recently Published Papers. Korean Journal of Radiology. 2019;20(3):405-410. doi:10.3348/kjr.2019.0025.
5. Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Medicine. 2018;15(11):e1002683. doi:10.1371/journal.pmed.1002683.
6. Conselho Federal de Medicina. Resolução CFM nº 2.454, de 11 de fevereiro de 2026. Normatiza o uso da inteligência artificial na medicina. Diário Oficial da União, 27 fev. 2026.
7. ICS & Xdiag Tecnologias. Medicina com IA: O Método Prático para o Médico Moderno — Módulo 1. 2026.
IA na Medicina — ICS & Xdiag®xdiag.com.br