Proveniência dos dados

Pílula de Conhecimento

Proveniência dos dados

data provenance · a etiqueta de onde vieram os exemplos de treino e teste

Um número de acurácia sobre dados de origem desconhecida não mede nada que você possa usar.

Antes de perguntar quanto a IA acerta, pergunte de onde vieram as imagens.

Proveniência dos dados:
a etiqueta antes do laudo

Pense no exame anatomopatológico. Antes de ler o laudo, você confere a etiqueta: de quem é a peça, de que órgão, de que lado. Um laudo perfeito na lâmina trocada é um laudo errado. A proveniência é a etiqueta dos dados de uma IA.

Um modelo de aprendizado de máquina (o programa que aprende padrões a partir de exemplos rotulados) é treinado num conjunto de dados e testado em outro. O número divulgado, como a acurácia ou a AUROC (a área sob a curva ROC, que vai de 0,5, o acaso, a 1, a separação perfeita), descreve o desempenho naquele conjunto de teste. Se a etiqueta do conjunto estiver errada, o número descreve outra coisa.

O caso do ovário

Em 2026, a revista Multimedia Tools and Applications retratou um artigo de 2024 sobre IA para câncer de ovário no ultrassom: o banco de imagens que ele dizia usar vinha de um artigo já retratado, e havia a suspeita de que as imagens eram de tireoide, não de ovário. A revista concluiu que o conjunto de dados “não pôde ser verificado” e que a confiabilidade dos resultados “não pode ser confirmada”. Os autores não responderam.

Em 2023, o Journal of Medical Systems já havia retratado um artigo de 2019, também sobre IA para câncer de ovário no ultrassom, porque o banco citado “não parece conter imagens de ultrassom de ovários, mas de nódulos de tireoide”, entre outros motivos. O artigo de 2024 dizia ter usado esse mesmo banco.

Três armadilhas

Numa revisão sistemática de modelos de IA para covid-19 em radiografia e tomografia de tórax (Roberts e colegas, Nature Machine Intelligence, 2021), 16 dos 62 estudos analisados usaram como grupo de controle um banco de pneumonia de crianças de 1 a 5 anos. Os autores alertam que um modelo treinado com adultos com covid e crianças com pneumonia tende a ter desempenho inflado, porque pode estar só separando crianças de adultos. Eles citam outro trabalho que, sem olhar a região dos pulmões, conseguiu identificar de qual de dois bancos públicos vinha cada imagem.

A mesma revisão chama de banco “Frankenstein” o conjunto montado a partir de outros bancos e redistribuído com nome novo. Um dos estudos revisados anunciou validação externa num banco que, sem os autores perceberem, já incluía os dois bancos usados para treinar o modelo.

Roberts M, Driggs D, Thorpe M et al. Nature Machine Intelligence, 2021

A ficha técnica dos dados

Uma resposta proposta é a “ficha técnica do conjunto de dados” (datasheets for datasets), de Gebru e colegas: apresentada em 2018 no arXiv e publicada na Communications of the ACM em dezembro de 2021. Todo conjunto de dados viria com uma ficha que documenta a motivação, a composição, o processo de coleta e os usos recomendados, como o componente eletrônico que vem com a sua ficha técnica.

Confira a etiqueta

Quatro ferramentas de IA fictícias chegaram ao seu serviço. Para cada uma, leia de onde vieram os dados e escolha o que fazer.

Os nomes das ferramentas são inventados.

Checklist

Proveniência documentada não prova que o modelo funciona no seu serviço: ela é o que permite perguntar, a seguir, se o desempenho se repete fora da origem — o tema da Pílula 25, Validação externa — e se continua valendo com o tempo — o tema da Pílula 26, Deriva de dados.

Material educativo, não parecer jurídico. Diante de um caso concreto, consulte o jurídico da sua instituição ou o seu Conselho Regional de Medicina.

Referências

1. Multimedia Tools and Applications. Retraction Note: Performance evaluation of optimized convolutional neural network mechanism in the detection and classification of ovarian cancer. Multimed Tools Appl 85, 799, 2026. doi:10.1007/s11042-026-21952-w.

2. Kongara SR, Prakasha S, Brindha A et al. RETRACTED ARTICLE: Performance evaluation of optimized convolutional neural network mechanism in the detection and classification of ovarian cancer. Multimed Tools Appl 83, 71311–71334, 2024. doi:10.1007/s11042-024-18115-0.

3. Journal of Medical Systems. Retraction Note: Improved Deep Learning Network Based in Combination with Cost-sensitive Learning for Early Detection of Ovarian Cancer in Color Ultrasound Detecting System. J Med Syst 47, 20, 2023. doi:10.1007/s10916-023-01915-6.

4. Zhang L, Huang J, Liu L. RETRACTED ARTICLE: Improved Deep Learning Network Based in combination with Cost-sensitive Learning for Early Detection of Ovarian Cancer in Color Ultrasound Detecting System. J Med Syst 43, 251, 2019. doi:10.1007/s10916-019-1356-8.

5. Roberts M, Driggs D, Thorpe M et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nature Machine Intelligence 3, 199–217, 2021. doi:10.1038/s42256-021-00307-0.

6. Gebru T, Morgenstern J, Vecchione B et al. Datasheets for Datasets. Communications of the ACM, dez. 2021 (versão inicial no arXiv, 2018: 1803.09010). doi:10.1145/3458723.

7. Kim Y, Lee DH, Byeon SJ et al. Artificial intelligence for opportunistic osteoporosis screening on chest radiographs. npj Digital Medicine, 2026. doi:10.1038/s41746-026-03333-7.

8. ICS & Xdiag Tecnologias. Medicina com IA: O Método Prático para o Médico Moderno — Módulo 1. 2026.