Warum die meisten Validierungsstudien zu klinischer KI in die Irre führen

AUROC: die Zahl, die alle angeben und fast niemand versteht

Wenn ein Unternehmen für klinische KI Validierungsergebnisse veröffentlicht, steht fast immer die AUROC im Vordergrund, die Fläche unter der ROC-Kurve (Receiver Operating Characteristic). Eine AUROC von 0,95 klingt hervorragend, und sie taucht regelmäßig in Pitch-Decks, Pressemitteilungen und Kongressvorträgen als Beleg dafür auf, dass das System „funktioniert“. Krankenhausmanager, Investoren und selbst manche Kliniker sehen 0,95 und schließen daraus, das System erkenne die Zielerkrankung in 95 % der Fälle richtig.

Diese Deutung ist falsch.

Die AUROC misst Diskrimination: die Fähigkeit des Systems, einen zufällig ausgewählten positiven Fall höher einzustufen als einen zufällig ausgewählten negativen. Sie fasst alle möglichen Klassifikationsschwellen zusammen, von denen die meisten in der Praxis nie verwendet werden. Ein System mit einer AUROC von 0,95 sortiert bei sonst gleichen Bedingungen besser als eines mit 0,80. Doch die AUROC sagt nichts darüber, was an der konkreten Schwelle geschieht, die das Krankenhaus tatsächlich einsetzt, und nichts darüber, wie das System in der Population abschneidet, die dieses Krankenhaus versorgt.

Was 0,95 am Krankenbett bedeutet

Nehmen wir ein System zur Sepsis-Erkennung mit einer AUROC von 0,95, 85 % Sensitivität und 90 % Spezifität. In einer Publikation sehen diese Zahlen stark aus. Setzen wir sie nun auf einer echten Intensivstation ein, auf der die Sepsis-Prävalenz bei 5 % liegt.

Von 1.000 untersuchten Patienten haben 50 eine Sepsis, 950 nicht. Das System erkennt 42,5 der 50 Sepsis-Patienten richtig. Es stuft 855 der 950 Patienten ohne Sepsis zu Recht als unauffällig ein. Es erzeugt aber auch 95 Fehlalarme unter diesen 950 Patienten. Der positive prädiktive Wert, also die Wahrscheinlichkeit, dass ein markierter Patient tatsächlich eine Sepsis hat, beträgt 42,5 / (42,5 + 95) = 30,9 %.

Wer mit diesem System arbeitet, sieht auf jeden echten Alarm ungefähr zwei Fehlalarme. Auf einer vollen Intensivstation wird ein System, das bei 70 % seiner Alarme danebenliegt, binnen weniger Wochen als Rauschen abgetan. Die AUROC von 0,95 ist echt, verschleiert aber die Last der falsch positiven Meldungen, und genau diese entscheidet, ob das System überhaupt jemand nutzt.

Ich habe diese Dynamik schon während meiner klinischen Ausbildung erlebt, lange bevor ich mit KI zu tun hatte. Die Alarmmüdigkeit durch die elektronische Krankenakte war bereits so ausgeprägt, dass Ärzte „Übergehen“ anklickten, ohne den Text der Warnung zu lesen, ein reiner Reflex.

Wenn alles Alarm ist, ist nichts mehr Alarm.

Validiert, wo es gebaut wurde

Die meisten Validierungsstudien zu klinischer KI testen das System mit Daten derselben Einrichtung, die es entwickelt hat. Die Gründe sind praktischer Natur: Die Entwickler haben Zugang zu ihren eigenen Daten, sie kennen die dortigen Dokumentationsgewohnheiten, und eine interne Validierung ist schneller und billiger. Dadurch entsteht jedoch eine systematische Verzerrung, die die berichtete Leistung schönt.

Krankenhäuser unterscheiden sich in einer Weise, die die Leistung eines Algorithmus massiv beeinflusst. Die Dokumentation variiert: Manche Häuser erfassen Vitalzeichen stündlich, andere alle vier Stunden. Laboranforderungen folgen unterschiedlichen Mustern. Die Aktensysteme sind nicht einheitlich konfiguriert. Wird ein Modell mit den Daten eines einzigen Hauses trainiert und getestet, lernt es neben den echten klinischen Signalen auch all diese standortspezifischen Artefakte. Die interne Validierung erfasst beides. Erst die externe Validierung zeigt, welche Signale echt sind.

Das lehrreichste Beispiel ist das Sepsis-Vorhersagemodell von Epic. Intern trainiert und validiert, zeigte es eine starke Diskrimination. Als Forscher der University of Michigan dasselbe Modell unabhängig an ihren eigenen Patienten prüften, fiel die AUROC auf 0,63, kaum besser als Zufall. Die Studie, 2021 von Wong et al. in JAMA Internal Medicine veröffentlicht, ergab, dass das Modell zwei Drittel der Sepsis-Fälle übersah und so viele Fehlalarme erzeugte, dass das Vertrauen der Kliniker rasch schwand.

Eine systematische Übersichtsarbeit im Korean Journal of Radiology untersuchte 516 publizierte Studien zu KI in der diagnostischen Bildgebung. Nur 6 % hatten ihren Algorithmus an einem unabhängigen, externen Datensatz getestet. Krankenhäuser, die ihre Kaufentscheidungen auf die übrigen 94 % stützen, kaufen im Grunde Leistungsversprechen, die niemand überprüft hat.

Auch ehrliche Zahlen können täuschen

Ein Unternehmen kann vollkommen korrekte Zahlen veröffentlichen und dennoch ein irreführendes Bild erzeugen. Es geht nicht um Betrug. Es geht um die Darstellung.

Erstens die selektive Darstellung von Subgruppen: Ein System mit einer AUROC von insgesamt 0,82 kann bei Patienten über 65 mit mindestens drei Begleiterkrankungen 0,91 erreichen. Das Unternehmen nennt die 0,91 für die „Hochrisikopopulation“. Das ist formal korrekt, erweckt aber den Eindruck einer besseren Leistung, als das System über die gesamte Patientenpopulation hinweg erbringt.

Zweitens Sensitivität und Spezifität ohne PPV: Ein Unternehmen, das „92 % Sensitivität und 88 % Spezifität“ angibt, nennt wahre Zahlen, die beeindrucken. Ein Unternehmen, das „PPV von 28 % bei 4 % Prävalenz“ angibt, beschreibt dasselbe System. Mit welcher Zahl würden Sie eine Verkaufspräsentation eröffnen?

Ein seriöser Validierungsbericht zeigt die Leistung an der Schwelle, die im Einsatz tatsächlich verwendet wird, nicht nur über alle denkbaren Schwellen hinweg. Er zeigt, wie das System in verschiedenen Krankenhaustypen und Patientengruppen abschneidet, statt nur eine einzige gepoolte Zahl zu nennen. Und er legt offen, ob intern oder extern validiert wurde. Die meisten tun das nicht.

Wie man klinische KI vor der Einführung bewertet

Den meisten Gesundheitseinrichtungen, die klinische KI prüfen, wird ein Foliensatz mit einer einzigen Leistungszahl vorgelegt. Diese Zahl ist meist die AUROC, eine Kennzahl, die die meisten Kliniker und Krankenhausmanager nie zu deuten gelernt haben. Sie misst, wie gut ein System Patienten nach Risiko sortiert, nicht, wie treffsicher es ist, wenn es tatsächlich Alarm schlägt. Eine hohe AUROC bedeutet nicht, dass das System in Ihrem Krankenhaus, bei Ihren Patienten und an der von Ihnen gewählten Schwelle gut funktioniert.

Wichtiger ist Folgendes. Wurde das System in Krankenhäusern getestet, die an seiner Entwicklung nicht beteiligt waren? Wurde es nur intern validiert, hält die Leistung in Ihrem Haus womöglich nicht. Jedes Krankenhaus dokumentiert anders, fordert Laborwerte in anderer Frequenz an und versorgt eine andere Bevölkerung. Ein System, das dort funktioniert, wo es gebaut wurde, hat wenig darüber bewiesen, wo es sonst noch funktionieren wird.

Wie viele Fehlalarme sieht Ihre Pflege pro Schicht? Erzeugt das System 20 Alarme pro Station und sind 15 davon falsch, wird Ihr Personal binnen Wochen lernen, alle zu ignorieren. Fragen Sie nach der Rate falsch positiver Alarme an der Schwelle, die das System tatsächlich verwendet, nicht nach dem theoretischen Bestfall aus der Validierungsstudie.

Wie früh erkennt es Probleme tatsächlich? Ein System, das eine Verschlechterung 2 Stunden vor der Krise erfasst, bringt einen gewissen Nutzen. Ein System, das sie einen Tag oder länger im Voraus erfasst, verschafft Ihrem Team Zeit für ganz andere Maßnahmen. Fragen Sie nach der medianen Vorlaufzeit aus echten Einsätzen, nicht aus retrospektiven Analysen.

Können Ihre Kliniker sehen, warum das System einen Patienten markiert hat? Wenn nicht, bleibt die Nutzung gering, ganz gleich, wie genau es ist. Ärztinnen und Ärzte sind dafür ausgebildet, Evidenz zu bewerten, nicht dafür, auf unerklärte Scores hin zu handeln.

Kalibrierung, Vorlaufzeit und die Kennzahlen, die niemand angibt

Die Machine-Learning-Community hat unermüdlich auf Diskriminationsmaße optimiert. AUROC und AUPRC beantworten die Frage, ob das System positive von negativen Fällen trennen kann. Für den klinischen Einsatz ist das notwendig, aber nicht hinreichend.

Die Kalibrierung misst, ob vorhergesagte Wahrscheinlichkeiten in absoluten Zahlen verlässlich sind. Weist ein gut kalibriertes System einer Gruppe ein Sepsis-Risiko von 30 % zu, sollten tatsächlich etwa 30 % dieser Gruppe eine Sepsis entwickeln. Schlechte Kalibrierung heißt, dass man den Zahlen nicht ohne Weiteres trauen kann, und eine Klinikerin, die zwischen abwartendem Beobachten und aggressiver Intervention abwägt, muss wissen, ob „70 % Risiko“ wirklich 70 % bedeutet. Beurteilen lässt sich die Kalibrierung mit Kalibrierungskurven, dem Brier-Score und dem Hosmer-Lemeshow-Test. In Publikationen zu klinischer KI wird sie selten berichtet. Dieses Fehlen sollte man als Warnsignal werten.

Die Vorlaufzeit misst, wie früh das System eine Erkrankung im Vergleich zu herkömmlichen Verfahren erkennt. Bei Systemen, die eine „Frühwarnung“ versprechen, ist nicht nur die Frage, ob sie eine Verschlechterung erkennen, sondern wie viel früher als die übliche klinische Beurteilung. Ein System mit niedrigerer AUROC, aber 20 Stunden mehr Vorlauf kann mehr Leben retten als eines mit höherer AUROC und kaum einem Vorsprung bei der Früherkennung.

An diesen Maßstäben messen wir auch uns selbst. Unsere eigene Validierung, einschließlich Kalibrierung und Vorlaufzeit, veröffentlichen wir, sobald sie abgeschlossen ist.