Hvorfor de fleste valideringsstudier af klinisk AI vildleder

AUROC: tallet, alle rapporterer, og næsten ingen forstår

Når en virksomhed inden for klinisk AI offentliggør sine valideringsresultater, er hovedtallet næsten altid AUROC: arealet under ROC-kurven. En AUROC på 0,95 lyder enestående, og tallet dukker jævnligt op i investorpræsentationer, pressemeddelelser og konferenceoplæg som bevis på, at systemet »virker«. Hospitalsledere, investorer og endda nogle klinikere ser 0,95 og slutter, at systemet finder den pågældende tilstand korrekt i 95 % af tilfældene.

Den tolkning er forkert.

AUROC måler diskrimination: systemets evne til at rangere et tilfældigt valgt positivt tilfælde højere end et tilfældigt valgt negativt. Det er et samlet mål på tværs af alle mulige klassifikationsgrænser, hvoraf de fleste aldrig vil blive brugt i praksis. Alt andet lige er et system med en AUROC på 0,95 bedre til at rangere end et med 0,80. Men AUROC siger intet om, hvad der sker ved den konkrete grænseværdi, hospitalet faktisk tager i brug, og intet om, hvordan systemet klarer sig i den population, hospitalet faktisk betjener.

Sådan ser 0,95 ud ved sengen

Tag et system til påvisning af sepsis med en AUROC på 0,95, 85 % sensitivitet og 90 % specificitet. Tallene ser stærke ud i en artikel. Sæt dem nu ind på et rigtigt intensivafsnit, hvor prævalensen af sepsis er 5 %.

For hver 1.000 screenede patienter har 50 sepsis, og 950 har ikke. Systemet finder korrekt 42,5 af de 50 med sepsis. Det frikender korrekt 855 af de 950 uden. Men det giver også 95 falske alarmer blandt de 950, der ikke har sepsis. Den positive prædiktive værdi, altså sandsynligheden for, at en patient, systemet slår alarm for, faktisk har sepsis, er 42,5 / (42,5 + 95) = 30,9 %.

En kliniker, der bruger systemet, vil se cirka to falske alarmer for hver ægte. På et travlt intensivafsnit bliver et system, der tager fejl 70 % af gangene, når det slår alarm, betragtet som støj inden for få uger. AUROC-værdien på 0,95 er reel, men den tilslører byrden af falske positive, og det er den, der afgør, om nogen overhovedet vil bruge systemet.

Jeg så den dynamik udspille sig under min kliniske uddannelse, længe før jeg arbejdede med AI. Alarmtrætheden i journalsystemet var allerede så slem, at lægerne havde fået det i fingrene at klikke »tilsidesæt« uden at læse alarmteksten.

Når alt er en alarm, er intet en alarm.

Valideret dér, hvor det blev bygget

De fleste valideringsstudier af klinisk AI afprøver systemet på data fra den samme institution, som udviklede det. Grundene er praktiske: Udviklerne har adgang til deres egne data, de kender deres egne dokumentationsvaner, og intern validering er hurtigere og billigere. Men det skaber en systematisk skævhed, der puster de rapporterede resultater op.

Hospitaler adskiller sig fra hinanden på måder, der har stor betydning for, hvordan en algoritme klarer sig. Dokumentationspraksis varierer: Nogle steder registreres vitalparametre hver time, andre steder hver fjerde. Der bestilles blodprøver efter forskellige mønstre. Journalsystemerne er ikke sat ens op. Når en model trænes og testes på data fra én institution, lærer den mønstre, der rummer alle disse lokale særheder side om side med de ægte kliniske signaler. Intern validering fanger begge dele. Ekstern validering afslører, hvilke signaler der er ægte.

Det mest lærerige eksempel er Epics model til forudsigelse af sepsis. Trænet og valideret internt viste den stærk diskrimination. Da forskere ved University of Michigan uafhængigt afprøvede den samme model på deres egne patienter, faldt AUROC til 0,63, knap bedre end tilfældigt gæt. Studiet, publiceret af Wong et al. i JAMA Internal Medicine i 2021, viste, at modellen overså to tredjedele af sepsistilfældene og gav så mange falske alarmer, at klinikernes tillid hurtigt smuldrede.

En systematisk oversigt i Korean Journal of Radiology gennemgik 516 publicerede studier af AI til billeddiagnostik og fandt, at kun 6 % havde afprøvet algoritmen på et uafhængigt, eksternt datasæt. Hospitaler, der træffer indkøbsbeslutninger på grundlag af de øvrige 94 %, køber i en ganske reel forstand påstande om ydeevne, som ingen har efterprøvet.

Også ærlige tal kan vildlede

En virksomhed kan rapportere helt korrekte tal og alligevel tegne et misvisende billede. Det handler ikke om svindel. Det handler om indramning.

Selektiv rapportering af undergrupper: Et system med en samlet AUROC på 0,82 rammer måske 0,91 hos patienter over 65 år med mindst tre komorbiditeter. Virksomheden rapporterer tallet 0,91 for »højrisikopopulationen«. Det er teknisk korrekt, men giver indtryk af, at systemet klarer sig bedre, end det gør i hele patientpopulationen.

Sensitivitet og specificitet uden PPV: En virksomhed, der siger »92 % sensitivitet og 88 % specificitet«, oplyser sande tal, der lyder imponerende. En virksomhed, der siger »PPV på 28 % ved en prævalens på 4 %«, beskriver det samme system. Hvilket tal ville du selv indlede en salgspræsentation med?

En ansvarlig valideringsrapport viser ydeevnen ved den grænseværdi, der faktisk bruges i drift, og ikke kun på tværs af alle tænkelige grænser. Den viser, hvordan systemet klarer sig på forskellige typer hospitaler og i forskellige patientpopulationer, og ikke kun som ét samlet tal. Og den oplyser, om valideringen var intern eller ekstern. Det gør de fleste ikke.

Sådan vurderer man klinisk AI, før man tager det i brug

De fleste sundhedssystemer, der vurderer klinisk AI, får vist en præsentation med ét enkelt tal for ydeevnen. Tallet er som regel AUROC, et mål, som de fleste klinikere og hospitalsledere aldrig er blevet lært at tolke. Det måler, hvor godt et system rangerer patienter efter risiko, ikke hvor præcist det er, når det rent faktisk slår alarm. En høj AUROC betyder ikke, at systemet fungerer godt på jeres hospital, med jeres patienter, ved den grænseværdi, I vil bruge.

Det her betyder mere. Blev systemet afprøvet på hospitaler, der ikke var med til at bygge det? Er det kun valideret internt, holder resultaterne måske ikke hos jer. Hospitaler dokumenterer forskelligt, tager blodprøver med forskellig hyppighed og behandler forskellige befolkninger. Et system, der virker på det hospital, hvor det blev bygget, har kun bevist meget lidt om, hvor det ellers vil virke.

Hvor mange falske alarmer vil jeres sygeplejersker se pr. vagt? Giver systemet 20 alarmer pr. afsnit, og er 15 af dem forkerte, lærer personalet inden for få uger at ignorere dem alle. Spørg efter andelen af falske positive ved den grænseværdi, systemet faktisk bruger, ikke efter det teoretisk bedste tilfælde fra valideringsartiklen.

Hvor tidligt opdager det egentlig problemerne? Et system, der fanger en forværring 2 timer før krisen, giver en vis værdi. Et system, der fanger den et døgn eller mere i forvejen, giver jeres team tid til helt andre indsatser. Spørg efter den mediane forvarslingstid fra rigtige implementeringer, ikke fra retrospektive analyser.

Kan jeres klinikere se, hvorfor systemet markerede en patient? Er svaret nej, vil brugen være lav, uanset hvor præcist systemet er. Læger er uddannet til at vurdere evidens, ikke til at handle på uforklarede scorer.

Kalibrering, forvarslingstid og de tal, ingen rapporterer

ML-miljøet har utrætteligt optimeret efter mål for diskrimination. AUROC og AUPRC besvarer spørgsmålet: Kan systemet adskille positive tilfælde fra negative? Til klinisk brug er det nødvendigt, men ikke tilstrækkeligt.

Kalibrering måler, om de forudsagte sandsynligheder holder i absolutte tal. Hos et velkalibreret system, der tildeler en gruppe 30 % risiko for sepsis, bør omkring 30 % af gruppen faktisk udvikle det. Dårlig kalibrering betyder, at tallene ikke kan tages for pålydende, og en kliniker, der skal vælge mellem at se tiden an og at gribe aggressivt ind, har brug for at vide, om »70 % risiko« faktisk betyder 70 %. Kalibrering kan vurderes med kalibreringskurver, Brier-scorer og Hosmer-Lemeshow-testen. Den bliver sjældent rapporteret i publikationer om klinisk AI. Det fravær bør ses som et advarselstegn.

Forvarslingstid måler, hvor tidligt systemet opdager en tilstand sammenlignet med de gængse metoder. For systemer, der lover »tidlig varsling«, er det relevante spørgsmål ikke kun, om de kan identificere en forværring, men hvor meget tidligere de gør det end den almindelige kliniske vurdering. Et system med lavere AUROC, men 20 timer længere forvarsel, kan redde flere liv end et med højere AUROC og kun en minimal fordel i tidlig opsporing.

Vi holder os selv op på de samme krav. Vores egen validering, herunder kalibrering og forvarslingstid, bliver offentliggjort, når den er færdig.