Por que a maioria dos estudos de validação de IA clínica é enganosa

AUROC: o número que todos divulgam e quase ninguém entende

Quando uma empresa de IA clínica divulga seus resultados de validação, a métrica em destaque é quase sempre a AUROC, a área sob a curva ROC (Receiver Operating Characteristic). Uma AUROC de 0,95 parece excepcional e costuma aparecer em apresentações para investidores, comunicados à imprensa e palestras de congresso como prova de que o sistema “funciona”. Gestores hospitalares, investidores e até alguns médicos veem 0,95 e concluem que o sistema acerta a condição-alvo 95% das vezes.

Essa leitura está errada.

A AUROC mede discriminação: a capacidade de o sistema dar a um caso positivo, sorteado ao acaso, uma pontuação maior do que a de um caso negativo também sorteado. É um resumo de todos os limiares de classificação possíveis, e a maioria deles nunca será usada na prática. Em igualdade de condições, um sistema com AUROC de 0,95 ordena melhor os pacientes do que outro com 0,80. Mas a AUROC não diz nada sobre o que acontece no limiar operacional que o hospital vai de fato adotar, nem sobre o desempenho do sistema na população que o hospital de fato atende.

O que 0,95 significa à beira do leito

Imagine um sistema de detecção de sepse com AUROC de 0,95, sensibilidade de 85% e especificidade de 90%. No papel, são números fortes. Agora leve esse sistema para uma UTI real, onde a prevalência de sepse é de 5%.

A cada 1.000 pacientes avaliados, 50 têm sepse e 950 não têm. O sistema identifica corretamente 42,5 dos 50 com sepse e descarta corretamente 855 dos 950 sem sepse. Mas, entre esses 950, dispara 95 alarmes falsos. O valor preditivo positivo, ou seja, a probabilidade de um paciente sinalizado ter mesmo sepse, é de 42,5 / (42,5 + 95) = 30,9%.

Quem usa esse sistema verá cerca de dois alarmes falsos para cada alarme verdadeiro. Numa UTI movimentada, um sistema que erra 70% das vezes em que dispara vira ruído em poucas semanas. A AUROC de 0,95 é real, mas encobre a carga de falsos positivos, que é o que decide se alguém vai de fato usar o sistema.

Vi isso acontecer na formação clínica, muito antes de trabalhar com IA. A fadiga de alertas do prontuário eletrônico já era tamanha que os médicos clicavam em “ignorar” por memória muscular, sem ler o texto do alerta.

Quando tudo é alarme, nada é.

Validado em casa

A maioria dos estudos de validação de IA clínica testa o sistema com dados da mesma instituição que o desenvolveu. As razões são práticas: os desenvolvedores têm acesso aos próprios dados, conhecem os próprios padrões de documentação, e validar internamente é mais rápido e mais barato. Só que isso introduz um viés sistemático que infla o desempenho divulgado.

Os hospitais diferem de maneiras que afetam profundamente o desempenho de um algoritmo. A documentação varia: há instituições que registram os sinais vitais a cada hora, outras a cada quatro horas. Os hábitos de solicitação de exames não são os mesmos. As configurações do prontuário eletrônico não são padronizadas. Treinado e testado com dados de uma só instituição, o modelo aprende, junto com os sinais clínicos genuínos, todos esses artefatos locais. A validação interna capta as duas coisas. A externa mostra quais sinais são reais.

O caso mais instrutivo é o do modelo de predição de sepse da Epic. Treinado e validado internamente, apresentava boa discriminação. Quando pesquisadores da University of Michigan o avaliaram de forma independente em seus próprios pacientes, a AUROC caiu para 0,63, pouco melhor do que o acaso. O estudo, publicado por Wong et al. no JAMA Internal Medicine em 2021, mostrou que o modelo deixava escapar dois terços dos casos de sepse e gerava tantos alertas falsos que a confiança dos profissionais logo se desfez.

Uma revisão sistemática publicada no Korean Journal of Radiology analisou 516 estudos sobre IA em diagnóstico por imagem e constatou que só 6% testaram o algoritmo num conjunto de dados externo e independente. Os hospitais que decidem suas compras com base nos outros 94% estão, a rigor, comprando promessas de desempenho que ninguém verificou.

Números honestos também enganam

Uma empresa pode divulgar números absolutamente corretos e, ainda assim, pintar um quadro enganoso. Não se trata de fraude. Trata-se de como os números são apresentados.

Primeiro, o recorte seletivo de subgrupos. Um sistema com AUROC geral de 0,82 pode chegar a 0,91 em pacientes acima de 65 anos com pelo menos três comorbidades. A empresa divulga o 0,91 para a “população de alto risco”, o que é tecnicamente verdade, mas sugere um desempenho melhor do que o sistema entrega no conjunto dos pacientes.

Depois, sensibilidade e especificidade sem o VPP. A empresa que anuncia “92% de sensibilidade e 88% de especificidade” diz a verdade, e impressiona. A que anuncia “VPP de 28% com prevalência de 4%” descreve exatamente o mesmo sistema. Com qual dos dois números você abriria uma apresentação de vendas?

Um relatório de validação responsável mostra o desempenho no limiar efetivamente usado na prática, e não apenas o agregado de todos os limiares possíveis. Mostra como o sistema se comporta em diferentes tipos de hospital e de população, em vez de um único número consolidado. E informa se a validação foi interna ou externa. A maioria não faz nada disso.

Como avaliar uma IA clínica antes de adotá-la

Na maioria das vezes, o sistema de saúde que avalia uma IA clínica recebe uma apresentação com um único número de desempenho. Em geral é a AUROC, uma métrica que a maioria dos profissionais de saúde e gestores hospitalares nunca aprendeu a interpretar. Ela mede o quanto o sistema ordena bem os pacientes por risco, e não o quanto ele acerta quando de fato dispara um alerta. Uma AUROC alta não garante que o sistema vá funcionar bem no seu hospital, com os seus pacientes, no limiar que você vai usar.

Há perguntas mais importantes. O sistema foi testado em hospitais que não participaram do seu desenvolvimento? Se só passou por validação interna, o desempenho pode não se repetir na sua instituição. Cada hospital documenta de um jeito, pede exames com frequência diferente e atende uma população diferente. Um sistema que funciona no hospital onde nasceu provou muito pouco sobre onde mais vai funcionar.

Quantos alarmes falsos sua enfermagem vai receber por plantão? Se o sistema gera 20 alertas por unidade e 15 estão errados, em poucas semanas a equipe aprende a ignorar todos. Peça a taxa de falsos positivos no limiar que o sistema realmente usa, e não o melhor cenário teórico do artigo de validação.

Com quanta antecedência ele realmente detecta os problemas? Um sistema que percebe a deterioração 2 horas antes da crise tem algum valor. Um que a percebe com um dia ou mais de antecedência abre para a equipe um leque de intervenções completamente diferente. Peça a antecedência mediana observada em uso real, e não em análises retrospectivas.

Seus profissionais conseguem ver por que o sistema sinalizou um paciente? Se não conseguem, a adesão será baixa, seja qual for a acurácia. Médicos são treinados para avaliar evidências, não para agir com base em escores que ninguém explica.

Calibração, antecedência e as métricas que ninguém divulga

A comunidade de aprendizado de máquina vem otimizando sem trégua as métricas de discriminação. AUROC e AUPRC respondem a uma pergunta: o sistema consegue separar casos positivos de negativos? Para uso clínico, é necessário, mas não basta.

A calibração mede se as probabilidades previstas merecem confiança em termos absolutos. Se um sistema bem calibrado atribui 30% de risco de sepse a um grupo, cerca de 30% desse grupo deve de fato desenvolvê-la. Com calibração ruim, os números não podem ser tomados ao pé da letra, e o médico que precisa escolher entre a conduta expectante e uma intervenção agressiva tem de saber se “70% de risco” quer mesmo dizer 70%. A calibração pode ser avaliada com curvas de calibração, escore de Brier e a estatística de Hosmer-Lemeshow. Raramente aparece nas publicações de IA clínica. Essa ausência deveria acender um sinal de alerta.

A antecedência mede quanto antes o sistema detecta uma condição em relação aos métodos convencionais. Para sistemas que prometem “alerta precoce”, a pergunta que importa não é apenas se identificam a deterioração, mas quanto antes a identificam em comparação com a avaliação clínica habitual. Um sistema com AUROC menor e 20 horas a mais de antecedência pode salvar mais vidas do que outro com AUROC maior e pouca vantagem na detecção precoce.

Cobramos de nós mesmos esses mesmos padrões. Nossa validação, incluindo calibração e antecedência, será publicada quando estiver concluída.