Perché la maggior parte degli studi di validazione dell’IA clinica è fuorviante

AUROC: il numero che tutti riportano e quasi nessuno capisce

Quando un’azienda di IA clinica pubblica i risultati di una validazione, la metrica in evidenza è quasi sempre l’AUROC, l’area sotto la curva ROC (Receiver Operating Characteristic). Un’AUROC di 0,95 sembra eccezionale, e compare di continuo in presentazioni per investitori, comunicati stampa e interventi ai congressi come prova che il sistema “funziona”. Dirigenti ospedalieri, investitori e perfino alcuni clinici vedono 0,95 e concludono che il sistema riconosce correttamente la condizione nel 95% dei casi.

È un’interpretazione sbagliata.

L’AUROC misura la discriminazione: la capacità del sistema di assegnare a un caso positivo scelto a caso un punteggio più alto che a un caso negativo scelto a caso. È una sintesi su tutte le possibili soglie di classificazione, gran parte delle quali non verrà mai usata nella pratica. A parità di altre condizioni, un sistema con AUROC di 0,95 ordina i pazienti meglio di uno con 0,80. Ma l’AUROC non dice nulla di ciò che accade alla specifica soglia operativa che l’ospedale adotterà davvero, e nulla di come il sistema si comporti nella popolazione che quell’ospedale assiste.

Che cosa significa 0,95 al letto del paziente

Prendiamo un sistema di rilevamento della sepsi con AUROC di 0,95, sensibilità dell’85% e specificità del 90%. Sulla carta sono numeri solidi. Ora mettiamolo in una vera terapia intensiva, dove la prevalenza della sepsi è del 5%.

Su 1.000 pazienti valutati, 50 hanno la sepsi e 950 no. Il sistema riconosce correttamente 42,5 dei 50 pazienti settici. Esclude correttamente 855 dei 950 senza sepsi. Ma da quei 950 genera anche 95 falsi allarmi. Il valore predittivo positivo (VPP), cioè la probabilità che un paziente segnalato abbia davvero la sepsi, è 42,5 / (42,5 + 95) = 30,9%.

Chi usa questo sistema vedrà all’incirca due falsi allarmi per ogni allarme vero. In una terapia intensiva affollata, un sistema che sbaglia il 70% delle volte in cui suona verrà trattato come rumore di fondo nel giro di qualche settimana. L’AUROC di 0,95 è reale, ma nasconde il carico di falsi positivi, ed è quel carico a decidere se qualcuno userà davvero il sistema.

Ho visto questa dinamica durante la formazione clinica, molto prima di lavorare nell’IA. L’affaticamento da allarmi della cartella elettronica era già così grave che i medici avevano sviluppato un automatismo: cliccare “ignora” senza leggere il testo dell’avviso.

Quando tutto è un allarme, niente lo è.

Validato dove è stato costruito

La maggior parte degli studi di validazione dell’IA clinica mette alla prova il sistema sui dati della stessa istituzione che l’ha sviluppato. Le ragioni sono pratiche: gli sviluppatori hanno accesso ai propri dati, ne conoscono le abitudini di documentazione, e una validazione interna è più rapida ed economica. Ma così si introduce una distorsione sistematica che gonfia le prestazioni riportate.

Gli ospedali differiscono in modi che incidono profondamente sulle prestazioni di un algoritmo. Le abitudini di documentazione variano: alcune strutture registrano i parametri vitali ogni ora, altre ogni quattro. Cambia il modo di richiedere gli esami. Le configurazioni della cartella elettronica non sono standardizzate. Quando un modello viene addestrato e testato sui dati di un solo ospedale, impara schemi che mescolano ai veri segnali clinici tutti questi artefatti locali. La validazione interna li cattura entrambi. Quella esterna rivela quali segnali sono reali.

L’esempio più istruttivo è il modello di previsione della sepsi di Epic. Addestrato e validato internamente, mostrava una buona discriminazione. Quando i ricercatori della University of Michigan lo hanno valutato in modo indipendente sui propri pazienti, l’AUROC è scesa a 0,63, appena meglio del caso. Lo studio, pubblicato da Wong et al. su JAMA Internal Medicine nel 2021, ha rilevato che il modello non individuava due casi di sepsi su tre e generava così tanti falsi allarmi che la fiducia dei clinici si è erosa rapidamente.

Una revisione sistematica pubblicata sul Korean Journal of Radiology ha esaminato 516 studi sull’IA per la diagnostica per immagini e ha trovato che solo il 6% aveva testato l’algoritmo su un dataset esterno e indipendente. Gli ospedali che decidono i propri acquisti sulla base del restante 94% stanno, in un senso molto concreto, comprando prestazioni dichiarate e mai verificate.

Anche i numeri onesti possono ingannare

Un’azienda può riportare numeri del tutto esatti e dare comunque un’impressione fuorviante. Non è questione di frode. È questione di come li si presenta.

La selezione dei sottogruppi da riportare: un sistema con un’AUROC complessiva di 0,82 può arrivare a 0,91 nei pazienti sopra i 65 anni con almeno tre comorbilità. L’azienda riporta lo 0,91 per la “popolazione ad alto rischio”, il che è tecnicamente corretto, ma lascia intendere prestazioni migliori di quelle che il sistema offre sull’intera popolazione di pazienti.

Sensibilità e specificità senza VPP: un’azienda che dichiara “sensibilità del 92% e specificità dell’88%” dice cose vere che suonano impressionanti. Un’azienda che dichiara “VPP del 28% con una prevalenza del 4%” sta descrivendo lo stesso sistema. Quale dei due numeri mettereste in apertura di una presentazione commerciale?

Un rapporto di validazione serio mostra le prestazioni alla soglia effettivamente usata, non solo su tutte le soglie possibili. Mostra come il sistema si comporta in ospedali di tipo diverso e in popolazioni di pazienti diverse, non con un unico numero aggregato. E dichiara se la validazione è stata interna o esterna. Quasi nessuno lo fa.

Come valutare un’IA clinica prima di adottarla

Alla maggior parte dei sistemi sanitari che valutano un’IA clinica viene mostrata una presentazione con un solo numero di prestazione. Di solito è l’AUROC, una metrica che quasi nessun clinico o dirigente ospedaliero ha mai imparato a interpretare. Misura quanto bene il sistema ordina i pazienti per rischio, non quanto è accurato quando fa davvero scattare un allarme. Un’AUROC alta non significa che il sistema funzionerà bene nel vostro ospedale, con i vostri pazienti, alla soglia che userete.

Ecco che cosa conta di più. Il sistema è stato testato in ospedali che non hanno partecipato al suo sviluppo? Se è stato validato solo internamente, le prestazioni potrebbero non reggere nella vostra struttura. Ogni ospedale documenta in modo diverso, richiede esami con frequenze diverse e assiste popolazioni diverse. Un sistema che funziona nell’ospedale in cui è nato ha dimostrato ben poco su dove altro funzionerà.

Quanti falsi allarmi vedranno i vostri infermieri a ogni turno? Se il sistema genera 20 allarmi per reparto e 15 sono sbagliati, il personale imparerà a ignorarli tutti nel giro di qualche settimana. Chiedete il tasso di falsi positivi alla soglia che il sistema usa davvero, non il caso migliore teorico dell’articolo di validazione.

Con quanto anticipo individua davvero i problemi? Un sistema che coglie il peggioramento 2 ore prima della crisi offre un certo valore. Uno che lo coglie con un giorno o più di anticipo dà al vostro team il tempo per interventi di tutt’altro tipo. Chiedete l’anticipo mediano registrato nell’uso reale, non quello di un’analisi retrospettiva.

I vostri clinici possono vedere perché il sistema ha segnalato un paziente? Se la risposta è no, l’adozione resterà bassa a prescindere dall’accuratezza. I medici sono formati per valutare le evidenze, non per agire su punteggi inspiegati.

Calibrazione, anticipo e le metriche che nessuno riporta

La comunità del machine learning ha ottimizzato senza sosta le metriche di discriminazione. AUROC e AUPRC rispondono a una domanda: il sistema sa separare i casi positivi da quelli negativi? Per l’uso clinico è necessario, ma non basta.

La calibrazione misura se le probabilità previste sono affidabili in termini assoluti. Se un sistema ben calibrato assegna a un gruppo di pazienti un rischio di sepsi del 30%, circa il 30% di quel gruppo dovrebbe svilupparla davvero. Una calibrazione scadente vuol dire che i numeri non si possono prendere alla lettera, e un clinico che deve scegliere tra vigile attesa e intervento aggressivo ha bisogno di sapere se “70% di rischio” significa davvero 70%. La calibrazione si valuta con le curve di calibrazione, il Brier score e il test di Hosmer-Lemeshow. Nelle pubblicazioni sull’IA clinica la si riporta di rado. Quell’assenza va presa come un segnale d’allarme.

L’anticipo diagnostico (lead time) misura quanto prima il sistema individua una condizione rispetto agli approcci convenzionali. Per i sistemi che promettono un “allarme precoce”, la domanda pertinente non è soltanto se sappiano riconoscere il peggioramento, ma con quanto anticipo lo riconoscono rispetto alla valutazione clinica standard. Un sistema con un’AUROC più bassa ma 20 ore di anticipo in più può salvare più vite di uno con un’AUROC più alta ma un vantaggio minimo nel rilevamento precoce.

Applichiamo a noi stessi gli stessi criteri. La nostra validazione, comprese calibrazione e anticipo, sarà pubblicata quando sarà completa.