Klinik yapay zekâ doğrulama çalışmalarının çoğu neden yanıltıcı

AUROC: Herkesin raporladığı, neredeyse kimsenin anlamadığı sayı

Bir klinik yapay zekâ şirketi doğrulama sonuçlarını yayımladığında, öne çıkan ölçüt neredeyse her zaman AUROC’tur: ROC eğrisi altında kalan alan. 0,95’lik bir AUROC olağanüstü görünür ve yatırımcı sunumlarında, basın bültenlerinde, kongre konuşmalarında sistemin “işe yaradığının” kanıtı olarak sıkça karşımıza çıkar. Hastane yöneticileri, yatırımcılar, hatta bazı klinisyenler 0,95’i görür ve sistemin hedef hastalığı vakaların %95’inde doğru tanıdığı sonucuna varır.

Bu yorum yanlıştır.

AUROC ayırt ediciliği ölçer: Sistemin rastgele seçilmiş bir pozitif vakayı rastgele seçilmiş bir negatif vakadan daha üst sıraya koyabilme becerisini. Olası bütün sınıflandırma eşiklerinin özetidir ve bu eşiklerin çoğu pratikte hiçbir zaman kullanılmayacaktır. Diğer her şey eşitken AUROC’u 0,95 olan bir sistem, 0,80 olandan daha iyi sıralar. Ama AUROC, hastanenin gerçekten kullanacağı eşikte ne olacağı hakkında hiçbir şey söylemez; sistemin, hastanenin gerçekten hizmet verdiği popülasyonda nasıl performans göstereceği hakkında da.

Hasta başında 0,95’in karşılığı

AUROC’u 0,95, duyarlılığı %85 ve özgüllüğü %90 olan bir sepsis saptama sistemi düşünün. Bu sayılar bir makalede güçlü görünür. Şimdi onları sepsis prevalansının %5 olduğu gerçek bir yoğun bakıma taşıyın.

Taranan her 1.000 hastanın 50’sinde sepsis var, 950’sinde yok. Sistem 50 sepsisli hastanın 42,5’ini doğru tanıyor. Sepsisi olmayan 950 hastanın 855’ini doğru biçimde temize çıkarıyor. Ama aynı 950 hastada 95 yanlış alarm da üretiyor. Pozitif prediktif değer, yani işaretlenen bir hastanın gerçekten sepsis olma olasılığı, 42,5 / (42,5 + 95) = %30,9.

Bu sistemi kullanan bir klinisyen her gerçek alarma karşılık kabaca iki yanlış alarm görür. Hareketli bir yoğun bakım ünitesinde, uyarı verdiğinde %70 oranında yanılan bir sistem birkaç hafta içinde gürültü muamelesi görür. 0,95’lik AUROC gerçektir, ama kimsenin sistemi kullanıp kullanmayacağını belirleyen yalancı pozitif yükünü gölgeler.

Bu dinamiğin işlediğini, yapay zekâyla çalışmaya başlamamdan çok önce, klinik eğitimim sırasında gördüm. Elektronik sağlık kaydının yol açtığı alarm yorgunluğu o zaman bile o kadar ağırdı ki hekimler, uyarı metnini okumadan “yok say”a tıklamayı refleks haline getirmişti.

Her şey alarm olduğunda hiçbir şey alarm değildir.

Geliştirildiği yerde doğrulanmış

Klinik yapay zekâ doğrulama çalışmalarının çoğu, sistemi onu geliştiren kurumun kendi verisiyle test eder. Nedenleri pratiktir: Geliştiriciler kendi verilerine erişebilir, kendi kayıt alışkanlıklarını bilir ve iç doğrulama daha hızlı ve daha ucuzdur. Ama bu, raporlanan performansı şişiren sistematik bir yanlılık yaratır.

Hastaneler, bir algoritmanın performansını derinden etkileyen yönlerden birbirinden ayrılır. Kayıt pratikleri değişir: Bazı kurumlar vital bulguları saatte bir kaydeder, bazıları dört saatte bir. Tahlil isteme alışkanlıkları farklıdır. Elektronik sağlık kaydı sistemlerinin yapılandırmaları standart değildir. Tek bir kurumun verisiyle eğitilip test edilen bir model, gerçek klinik sinyallerin yanı sıra kuruma özgü bütün bu izleri de içeren örüntüler öğrenir. İç doğrulama ikisini birden yakalar. Hangi sinyallerin gerçek olduğunu dış doğrulama ortaya çıkarır.

En öğretici örnek, Epic’in sepsis öngörü modelidir. İçeride eğitilip doğrulandığında güçlü bir ayırt edicilik göstermişti. University of Michigan’daki araştırmacılar aynı modeli kendi hastalarında bağımsız olarak değerlendirdiğinde AUROC 0,63’e düştü; yazı turadan biraz daha iyi. Wong ve arkadaşlarının 2021’de JAMA Internal Medicine’da yayımladığı çalışma, modelin sepsis vakalarının üçte ikisini kaçırdığını ve o kadar çok yanlış alarm ürettiğini ortaya koydu ki klinisyenlerin güveni hızla aşındı.

Korean Journal of Radiology’de yayımlanan bir sistematik derleme, tanısal görüntülemede yapay zekâya ilişkin yayımlanmış 516 çalışmayı inceledi ve bunların yalnızca %6’sının algoritmasını bağımsız, harici bir veri setinde test ettiğini buldu. Geri kalan %94’e dayanarak satın alma kararı veren hastaneler, özünde, doğrulanmamış performans iddiaları satın alıyor.

Dürüst sayılar da yanıltabilir

Bir şirket tamamen doğru sayılar raporlayıp yine de yanıltıcı bir tablo çizebilir. Mesele sahtekârlık değil. Mesele çerçeveleme.

Alt grupları seçerek raporlamak: Genel AUROC’u 0,82 olan bir sistem, en az üç eşlik eden hastalığı olan 65 yaş üstü hastalarda 0,91’e ulaşabilir. Şirket “yüksek riskli popülasyon” için 0,91’i raporlar. Bu teknik olarak doğrudur, ama sistemin tüm hasta popülasyonunda gösterdiğinden daha iyi bir performans izlenimi yaratır.

PPV vermeden duyarlılık ve özgüllük raporlamak: “%92 duyarlılık, %88 özgüllük” diyen bir şirket, kulağa etkileyici gelen doğru sayılar söylüyordur. “%4 prevalansta %28 PPV” diyen bir şirket aynı sistemi anlatıyordur. Bir satış sunumunu siz hangisiyle açardınız?

Sorumlu bir doğrulama raporu, performansı yalnızca olası bütün eşiklerde değil, kullanımda gerçekten uygulanan eşikte de gösterir. Sistemin farklı hastane türlerinde ve farklı hasta popülasyonlarında nasıl çalıştığını, tek bir toplu sayının ötesinde ortaya koyar. Ve doğrulamanın iç mi dış mı olduğunu açıklar. Çoğu bunu yapmaz.

Klinik yapay zekâyı benimsemeden önce nasıl değerlendirmeli

Klinik yapay zekâ değerlendiren sağlık sistemlerinin çoğuna, tek bir performans sayısı içeren bir sunum gösterilir. O sayı genellikle AUROC’tur; klinisyenlerin ve hastane yöneticilerinin çoğunun yorumlamak için hiçbir zaman eğitim almadığı bir ölçüt. AUROC, sistemin hastaları riske göre ne kadar iyi sıraladığını ölçer; gerçekten uyarı verdiğinde ne kadar isabetli olduğunu değil. Yüksek bir AUROC, sistemin sizin hastanenizde, sizin hastalarınızla, sizin kullanacağınız eşikte iyi çalışacağı anlamına gelmez.

Daha önemli olan şunlar. Sistem, geliştirilmesinde yer almayan hastanelerde test edildi mi? Yalnızca içeride doğrulandıysa performansı sizin kurumunuzda tutmayabilir. Hastaneler farklı biçimde kayıt tutar, tahlilleri farklı sıklıkta ister ve farklı popülasyonlara hizmet verir. Geliştirildiği hastanede işe yarayan bir sistem, başka nerede işe yarayacağı konusunda çok az şey kanıtlamıştır.

Hemşireleriniz bir nöbette kaç yanlış alarm görecek? Sistem servis başına 20 uyarı üretiyor ve bunların 15’i yanlışsa, ekibiniz birkaç hafta içinde hepsini görmezden gelmeyi öğrenir. Doğrulama makalesindeki kuramsal en iyi durumu değil, sistemin gerçekten kullandığı eşikteki yalancı pozitif oranını sorun.

Sorunları gerçekte ne kadar erken saptıyor? Kötüleşmeyi krizden 2 saat önce yakalayan bir sistem bir miktar değer sağlar. En az bir gün önce yakalayan bir sistem ise ekibinize bambaşka müdahaleler için zaman kazandırır. Geriye dönük analizlerden değil, gerçek kullanımdan elde edilmiş medyan uyarı süresini sorun.

Klinisyenleriniz sistemin bir hastayı neden işaretlediğini görebiliyor mu? Cevap hayırsa, isabeti ne olursa olsun sistem pek kullanılmaz. Hekimler kanıtı değerlendirmek üzere yetiştirilir, açıklanmamış skorlara göre davranmak üzere değil.

Kalibrasyon, erken uyarı süresi ve kimsenin raporlamadığı ölçütler

Makine öğrenmesi camiası gözünü ayırt edicilik ölçütlerine dikti ve onları durmaksızın iyileştirdi. AUROC ve AUPRC şu soruyu yanıtlar: Sistem pozitif vakaları negatiflerden ayırabiliyor mu? Klinik kullanım için bu gereklidir, ama yeterli değildir.

Kalibrasyon, öngörülen olasılıkların mutlak anlamda güvenilir olup olmadığını ölçer. İyi kalibre edilmiş bir sistem bir gruba %30 sepsis riski biçiyorsa, o grubun kabaca %30’unda gerçekten sepsis gelişmelidir. Kalibrasyonun kötü olması, sayılara göründükleri gibi güvenilemeyeceği anlamına gelir. İzleyip beklemekle agresif müdahale arasında karar veren bir klinisyenin, “%70 risk”in gerçekten %70 anlamına gelip gelmediğini bilmesi gerekir. Kalibrasyon; kalibrasyon eğrileri, Brier skorları ve Hosmer-Lemeshow testiyle değerlendirilebilir. Klinik yapay zekâ yayınlarında nadiren raporlanır. Bu eksiklik bir uyarı işareti olarak görülmelidir.

Erken uyarı süresi, sistemin bir durumu geleneksel yaklaşımlara göre ne kadar erken saptadığını ölçer. “Erken uyarı” sağladığını iddia eden sistemler için asıl soru yalnızca kötüleşmeyi tanıyıp tanıyamadıkları değil, standart klinik değerlendirmeye kıyasla ne kadar önce tanıdıklarıdır. AUROC’u daha düşük ama 20 saat daha uzun erken uyarı süresi sunan bir sistem, AUROC’u daha yüksek ama erken saptamada çok az avantajı olan bir sistemden daha çok hayat kurtarabilir.

Kendimizi de aynı ölçütlere tabi tutuyoruz. Kalibrasyon ve erken uyarı süresi dahil kendi doğrulamamız, tamamlandığında yayımlanacak.