Dlaczego większość badań walidacyjnych klinicznej AI wprowadza w błąd

AUROC: liczba, którą podają wszyscy, a rozumie mało kto

Gdy firma rozwijająca kliniczną AI publikuje wyniki walidacji, na pierwszym planie niemal zawsze jest AUROC, czyli pole pod krzywą ROC (Area Under the Receiver Operating Characteristic curve). AUROC równe 0,95 brzmi imponująco i regularnie trafia do prezentacji dla inwestorów, komunikatów prasowych i wystąpień konferencyjnych jako dowód, że system „działa”. Dyrektorzy szpitali, inwestorzy, a nawet część klinicystów widzą 0,95 i wnioskują, że system trafnie rozpoznaje chorobę w 95% przypadków.

To błędna interpretacja.

AUROC mierzy dyskryminację: zdolność systemu do tego, by losowo wybrany przypadek dodatni umieścić wyżej niż losowo wybrany przypadek ujemny. Podsumowuje działanie przy wszystkich możliwych progach klasyfikacji, z których większość nigdy nie zostanie użyta w praktyce. Przy pozostałych czynnikach bez zmian system z AUROC 0,95 lepiej szereguje pacjentów niż system z AUROC 0,80. Ale AUROC nie mówi nic o tym, co się dzieje przy konkretnym progu, który szpital rzeczywiście ustawi, ani o tym, jak system sprawdzi się w populacji, którą ten szpital leczy.

Jak 0,95 wygląda przy łóżku pacjenta

Weźmy system wykrywania sepsy z AUROC 0,95, czułością 85% i swoistością 90%. W publikacji te liczby wyglądają solidnie. Przenieśmy je teraz na prawdziwy OIOM, gdzie sepsa występuje u 5% pacjentów.

Na każdych 1000 przebadanych pacjentów 50 ma sepsę, a 950 nie. System trafnie rozpoznaje 42,5 z 50 chorych z sepsą. Trafnie wyklucza ją u 855 z 950 pozostałych. Zarazem u 95 spośród tych 950 pacjentów bez sepsy zgłasza fałszywy alarm. Wartość predykcyjna dodatnia (PPV), czyli prawdopodobieństwo, że wskazany pacjent rzeczywiście ma sepsę, wynosi 42,5 / (42,5 + 95) = 30,9%.

Klinicysta korzystający z takiego systemu zobaczy mniej więcej dwa fałszywe alarmy na każdy prawdziwy. Na zapracowanym OIOM-ie system, którego alarmy w 70% okazują się fałszywe, po kilku tygodniach zaczyna być traktowany jak szum. AUROC 0,95 jest prawdziwe, ale zasłania liczbę fałszywych alarmów, a to od niej zależy, czy ktokolwiek będzie z systemu korzystał.

Widziałem to na długo przed tym, nim zająłem się AI, jeszcze w czasie szkolenia klinicznego. Zmęczenie alertami z EHR było już tak dotkliwe, że lekarze odruchowo klikali „pomiń”, nawet nie czytając treści komunikatu.

Kiedy wszystko jest alarmem, nic nim nie jest.

Sprawdzony tam, gdzie powstał

Większość badań walidacyjnych klinicznej AI sprawdza system na danych z tej samej instytucji, która go stworzyła. Powody są praktyczne: twórcy mają dostęp do własnych danych, znają swoje zwyczaje dokumentacyjne, a walidacja wewnętrzna jest szybsza i tańsza. Tyle że rodzi to systematyczny błąd, który zawyża raportowane wyniki.

Szpitale różnią się w sposób, który mocno wpływa na działanie algorytmów. Inaczej prowadzą dokumentację: w jednych parametry życiowe zapisuje się co godzinę, w innych co cztery godziny. Inaczej zlecają badania laboratoryjne. Konfiguracje EHR nie są ujednolicone. Model trenowany i testowany na danych z jednej instytucji uczy się więc nie tylko prawdziwych sygnałów klinicznych, ale też wszystkich lokalnych artefaktów. Walidacja wewnętrzna wychwytuje jedno i drugie. Dopiero walidacja zewnętrzna pokazuje, które sygnały są prawdziwe.

Najbardziej pouczający przykład to model przewidywania sepsy firmy Epic. Trenowany i walidowany wewnętrznie, wykazywał silną dyskryminację. Gdy badacze z University of Michigan niezależnie ocenili ten sam model na własnych pacjentach, AUROC spadło do 0,63, czyli niewiele lepiej niż losowo. Badanie Wong et al. opublikowane w JAMA Internal Medicine w 2021 roku wykazało, że model przeoczył dwie trzecie przypadków sepsy i wysyłał tyle fałszywych alertów, że klinicyści szybko przestali mu ufać.

Przegląd systematyczny w Korean Journal of Radiology objął 516 opublikowanych badań nad AI w diagnostyce obrazowej. Tylko 6% z nich sprawdzało algorytm na niezależnym, zewnętrznym zbiorze danych. Szpitale, które podejmują decyzje zakupowe na podstawie pozostałych 94%, w gruncie rzeczy kupują niezweryfikowane deklaracje skuteczności.

Uczciwe liczby też mogą wprowadzać w błąd

Firma może podawać wyłącznie prawdziwe liczby, a mimo to tworzyć mylący obraz. Nie chodzi o oszustwo. Chodzi o sposób przedstawienia.

Wybiórcze raportowanie podgrup: system z ogólnym AUROC 0,82 może osiągać 0,91 u pacjentów powyżej 65. roku życia z co najmniej trzema chorobami współistniejącymi. Firma podaje 0,91 dla „populacji wysokiego ryzyka”. Formalnie to prawda, ale sugeruje wyniki lepsze niż te, które system osiąga w całej populacji pacjentów.

Czułość i swoistość bez PPV: firma, która pisze „czułość 92%, swoistość 88%”, podaje prawdziwe i efektowne liczby. Firma, która pisze „PPV 28% przy częstości 4%”, opisuje ten sam system. Którą z tych liczb pokazałoby się na pierwszym slajdzie prezentacji handlowej?

Rzetelny raport z walidacji pokazuje wyniki przy progu, który faktycznie stosuje się we wdrożeniu, a nie tylko uśrednione po wszystkich możliwych progach. Pokazuje, jak system działa w różnych typach szpitali i populacjach pacjentów, a nie tylko jedną zbiorczą liczbę. I mówi wprost, czy walidacja była wewnętrzna, czy zewnętrzna. Większość raportów tego nie robi.

Jak ocenić kliniczną AI przed wdrożeniem

Szpitalom, które oceniają kliniczną AI, zwykle pokazuje się prezentację z jedną liczbą opisującą skuteczność. Najczęściej jest to AUROC, metryka, której interpretacji większości klinicystów i menedżerów nikt nigdy nie uczył. Mierzy ona, jak dobrze system szereguje pacjentów według ryzyka, a nie jak często ma rację, kiedy podnosi alarm. Wysokie AUROC nie znaczy, że system sprawdzi się w konkretnym szpitalu, u jego pacjentów i przy progu, który zostanie tam faktycznie ustawiony.

Ważniejsze jest co innego. Czy system testowano w szpitalach, które nie brały udziału w jego tworzeniu? Jeśli walidowano go tylko wewnętrznie, wyniki mogą się nie powtórzyć w placówce, która go kupuje. Szpitale różnie prowadzą dokumentację, z różną częstością zlecają badania i leczą różne populacje. To, że system działa tam, gdzie go zbudowano, niewiele mówi o tym, gdzie jeszcze zadziała.

Ile fałszywych alarmów zobaczą pielęgniarki w ciągu jednego dyżuru? Jeśli system zgłasza na oddziale 20 alertów, a 15 z nich jest błędnych, po kilku tygodniach personel nauczy się ignorować wszystkie. Trzeba pytać o odsetek wyników fałszywie dodatnich przy progu, którego system faktycznie używa, a nie o teoretycznie najlepszy scenariusz z publikacji walidacyjnej.

Jak wcześnie system naprawdę wykrywa problemy? Wychwycenie pogorszenia 2 godziny przed kryzysem ma pewną wartość. Wychwycenie go dzień lub więcej wcześniej daje zespołowi czas na zupełnie inne interwencje. Warto pytać o medianę wyprzedzenia z rzeczywistych wdrożeń, a nie z analiz retrospektywnych.

Czy klinicyści widzą, dlaczego system wskazał danego pacjenta? Jeśli nie, system się nie przyjmie, niezależnie od swojej trafności. Lekarzy uczy się oceniać dowody, a nie działać na podstawie niewyjaśnionych punktacji.

Kalibracja, wyprzedzenie i metryki, których nikt nie podaje

Środowisko uczenia maszynowego uparcie optymalizuje metryki dyskryminacji. AUROC i AUPRC odpowiadają na pytanie, czy system potrafi oddzielić przypadki dodatnie od ujemnych. We wdrożeniu klinicznym to warunek konieczny, ale niewystarczający.

Kalibracja mierzy, czy przewidywane prawdopodobieństwa zgadzają się z rzeczywistością w liczbach bezwzględnych. Jeśli dobrze skalibrowany system przypisuje grupie pacjentów 30% ryzyka sepsy, sepsa powinna rozwinąć się mniej więcej u 30% z nich. Przy słabej kalibracji liczb nie można brać dosłownie, a klinicysta, który waha się między czujną obserwacją a agresywnym leczeniem, musi wiedzieć, czy „70% ryzyka” to rzeczywiście 70%. Kalibrację ocenia się za pomocą krzywych kalibracyjnych, wskaźnika Briera (Brier score) i testu Hosmera-Lemeshowa. W publikacjach o klinicznej AI rzadko się ją podaje. Ten brak należy traktować jako sygnał ostrzegawczy.

Wyprzedzenie (lead time) mierzy, o ile wcześniej system wykrywa chorobę niż metody konwencjonalne. W przypadku systemów, które obiecują „wczesne ostrzeganie”, liczy się nie tylko to, czy rozpoznają pogorszenie, ale o ile wyprzedzają standardową ocenę kliniczną. System z niższym AUROC, ale o 20 godzin większym wyprzedzeniem, może uratować więcej istnień niż system z wyższym AUROC i znikomą przewagą czasową.

Stosujemy wobec siebie te same kryteria. Naszą własną walidację, łącznie z kalibracją i wyprzedzeniem, opublikujemy po jej zakończeniu.