Mengapa Kebanyakan Studi Validasi AI Klinis Menyesatkan

AUROC: angka yang dilaporkan semua orang, tetapi nyaris tak dipahami siapa pun

Ketika perusahaan AI klinis menerbitkan hasil validasi, metrik utamanya hampir selalu AUROC, yakni luas area di bawah kurva Receiver Operating Characteristic. AUROC 0,95 terdengar luar biasa, dan angka semacam itu rutin muncul di materi presentasi investor, siaran pers, dan presentasi konferensi sebagai bukti bahwa sistemnya “berhasil”. Pengelola rumah sakit, investor, bahkan sebagian klinisi melihat 0,95 lalu menyimpulkan bahwa sistem itu benar mengenali kondisi sasarannya pada 95% kasus.

Tafsiran itu keliru.

AUROC mengukur diskriminasi: kemampuan sistem menempatkan satu kasus positif yang dipilih acak di peringkat lebih tinggi daripada satu kasus negatif yang dipilih acak. Angka ini merangkum kinerja di semua ambang klasifikasi yang mungkin, padahal sebagian besar ambang itu tidak akan pernah dipakai dalam praktik. Bila faktor lain setara, sistem dengan AUROC 0,95 memang lebih baik dalam mengurutkan daripada sistem dengan 0,80. Tetapi AUROC tidak mengatakan apa pun tentang apa yang terjadi pada ambang operasional yang benar-benar akan dipakai rumah sakit, dan tidak mengatakan apa pun tentang kinerja sistem pada populasi yang benar-benar dilayani rumah sakit itu.

Seperti apa 0,95 di sisi ranjang pasien

Ambil sebuah sistem deteksi sepsis dengan AUROC 0,95, sensitivitas 85%, dan spesifisitas 90%. Di atas kertas, angka-angka ini tampak kuat. Sekarang terapkan di ICU sungguhan dengan prevalensi sepsis 5%.

Dari setiap 1.000 pasien yang diskrining, 50 mengalami sepsis dan 950 tidak. Sistem dengan benar mengenali 42,5 dari 50 pasien sepsis, dan dengan benar menyatakan negatif 855 dari 950 pasien tanpa sepsis. Tetapi dari 950 pasien tanpa sepsis itu, sistem juga membunyikan 95 alarm palsu. Nilai prediksi positif (PPV), yaitu peluang bahwa pasien yang ditandai benar-benar mengalami sepsis, adalah 42,5 / (42,5 + 95) = 30,9%.

Klinisi yang memakai sistem ini akan menerima kira-kira dua alarm palsu untuk setiap alarm yang benar. Di ICU yang sibuk, sistem yang 70% keliru setiap kali membunyikan peringatan akan dianggap sekadar bising dalam hitungan minggu. AUROC 0,95 itu nyata, tetapi ia menutupi beban positif palsu, dan beban itulah yang menentukan apakah sistem tersebut akan benar-benar dipakai.

Saya menyaksikan dinamika ini selama pendidikan klinis, jauh sebelum saya bekerja di bidang AI. Kelelahan akibat banjir peringatan dari EHR sudah begitu parah sehingga jari para dokter terbiasa langsung mengeklik “override” tanpa membaca isi peringatannya.

Bila semuanya alarm, tak ada lagi yang alarm.

Divalidasi di tempat ia dibangun

Kebanyakan studi validasi AI klinis menguji sistem dengan data dari institusi yang mengembangkannya. Alasannya praktis: pengembang punya akses ke datanya sendiri, memahami pola dokumentasinya, dan validasi internal lebih cepat serta lebih murah. Namun cara ini menimbulkan bias sistematis yang menggelembungkan kinerja yang dilaporkan.

Rumah sakit berbeda satu sama lain dalam banyak hal yang sangat memengaruhi kinerja algoritme. Praktik dokumentasi beragam: ada institusi yang mencatat tanda vital setiap jam, ada yang setiap empat jam. Pola permintaan pemeriksaan lab berbeda. Konfigurasi EHR tidak seragam. Model yang dilatih dan diuji dengan data dari satu institusi akan mempelajari pola yang mencampuradukkan semua kekhasan lokal itu dengan sinyal klinis yang sebenarnya. Validasi internal menangkap keduanya. Validasi eksternal memperlihatkan sinyal mana yang nyata.

Contoh yang paling gamblang adalah model prediksi sepsis milik Epic. Dalam pelatihan dan validasi internal, diskriminasinya tampak kuat. Ketika para peneliti di University of Michigan mengevaluasi model yang sama secara independen pada pasien mereka sendiri, AUROC-nya merosot ke 0,63, nyaris tidak lebih baik daripada tebakan acak. Studi yang diterbitkan Wong et al. di JAMA Internal Medicine pada 2021 itu mendapati bahwa model tersebut melewatkan dua pertiga kasus sepsis dan menghasilkan begitu banyak peringatan palsu sehingga kepercayaan klinisi cepat terkikis.

Sebuah tinjauan sistematis di Korean Journal of Radiology menelaah 516 studi AI pencitraan diagnostik yang telah terbit dan mendapati bahwa hanya 6% yang menguji algoritmenya pada dataset eksternal yang independen. Rumah sakit yang mengambil keputusan pembelian berdasarkan 94% sisanya pada hakikatnya sedang membeli klaim kinerja yang belum terbukti.

Angka yang jujur pun bisa menyesatkan

Sebuah perusahaan bisa melaporkan angka yang sepenuhnya akurat dan tetap menciptakan gambaran yang menyesatkan. Ini bukan soal penipuan. Ini soal pembingkaian.

Pertama, melaporkan subkelompok secara selektif. Sistem dengan AUROC keseluruhan 0,82 mungkin mencapai 0,91 pada pasien berusia di atas 65 tahun dengan sedikitnya tiga komorbiditas. Perusahaan lalu melaporkan angka 0,91 untuk “populasi risiko tinggi”. Secara teknis akurat, tetapi memberi kesan kinerja yang lebih baik daripada yang sebenarnya diberikan sistem pada seluruh populasi pasien.

Kedua, melaporkan sensitivitas dan spesifisitas tanpa PPV. Perusahaan yang berkata “sensitivitas 92% dan spesifisitas 88%” menyebut angka yang benar dan terdengar mengesankan. Perusahaan yang berkata “PPV 28% pada prevalensi 4%” sedang menggambarkan sistem yang sama. Angka mana yang akan Anda tampilkan lebih dulu dalam presentasi penjualan?

Laporan validasi yang bertanggung jawab menunjukkan kinerja pada ambang yang benar-benar dipakai saat sistem dijalankan, bukan hanya rangkuman di semua ambang yang mungkin. Laporan itu menunjukkan kinerja sistem di berbagai jenis rumah sakit dan populasi pasien, bukan hanya satu angka gabungan. Laporan itu juga menyebutkan apakah validasinya internal atau eksternal. Kebanyakan laporan tidak melakukannya.

Cara menilai AI klinis sebelum mengadopsinya

Kebanyakan jaringan layanan kesehatan yang sedang menilai AI klinis hanya disodori materi presentasi dengan satu angka kinerja. Angka itu biasanya AUROC, metrik yang cara membacanya tidak pernah diajarkan kepada sebagian besar klinisi dan pengelola rumah sakit. AUROC mengukur seberapa baik sistem mengurutkan pasien menurut risikonya, bukan seberapa akurat sistem itu ketika benar-benar membunyikan peringatan. AUROC yang tinggi tidak berarti sistem itu akan bekerja baik di rumah sakit Anda, pada pasien Anda, dengan ambang yang akan Anda pakai.

Yang lebih penting adalah ini. Apakah sistem itu diuji di rumah sakit yang tidak terlibat dalam pembuatannya? Jika hanya divalidasi secara internal, kinerjanya belum tentu bertahan di institusi Anda. Setiap rumah sakit mendokumentasikan dengan cara berbeda, meminta pemeriksaan lab dengan frekuensi berbeda, dan melayani populasi yang berbeda. Sistem yang bekerja di rumah sakit tempat ia dibangun baru sedikit sekali membuktikan apakah ia akan bekerja di tempat lain.

Berapa banyak alarm palsu yang akan dihadapi perawat Anda setiap sif? Jika sistem menghasilkan 20 peringatan per unit dan 15 di antaranya keliru, staf Anda akan belajar mengabaikan semuanya dalam hitungan minggu. Mintalah angka positif palsu pada ambang yang benar-benar dipakai sistem, bukan skenario terbaik teoretis dari makalah validasinya.

Seberapa dini sistem itu benar-benar mendeteksi masalah? Sistem yang menangkap perburukan 2 jam sebelum krisis tetap ada gunanya. Sistem yang menangkapnya sehari atau lebih sebelumnya memberi tim Anda waktu untuk serangkaian intervensi yang sama sekali berbeda. Mintalah median lead time, yakni selisih waktu deteksi dini, dari penerapan nyata, bukan dari analisis retrospektif.

Bisakah klinisi Anda melihat mengapa sistem menandai seorang pasien? Jika tidak, tingkat adopsinya akan rendah, seakurat apa pun sistem itu. Dokter dilatih untuk menilai bukti, bukan untuk bertindak berdasarkan skor yang tidak bisa dijelaskan.

Kalibrasi, lead time, dan metrik yang tak pernah dilaporkan

Komunitas ML habis-habisan mengoptimalkan metrik diskriminasi. AUROC dan AUPRC menjawab satu pertanyaan: dapatkah sistem memisahkan kasus positif dari kasus negatif? Untuk penerapan klinis, itu memang perlu, tetapi tidak cukup.

Kalibrasi mengukur apakah probabilitas yang diprediksi dapat dipercaya secara absolut. Pada sistem yang terkalibrasi baik, dari kelompok pasien yang diberi risiko sepsis 30%, kira-kira 30% memang akan mengalaminya. Kalibrasi yang buruk berarti angkanya tidak bisa diterima begitu saja, padahal klinisi yang harus memilih antara observasi ketat dan intervensi agresif perlu tahu apakah “risiko 70%” memang berarti 70%. Kalibrasi dapat dinilai dengan kurva kalibrasi, skor Brier, dan statistik Hosmer-Lemeshow. Namun kalibrasi jarang dilaporkan dalam publikasi AI klinis. Ketiadaannya patut dianggap sebagai tanda bahaya.

Lead time mengukur seberapa dini sistem mendeteksi suatu kondisi dibandingkan pendekatan konvensional. Untuk sistem yang mengklaim memberi “peringatan dini”, pertanyaannya bukan hanya apakah sistem itu dapat mengenali perburukan, tetapi seberapa jauh lebih awal ia mengenalinya dibandingkan penilaian klinis standar. Sistem dengan AUROC lebih rendah tetapi lead time 20 jam lebih panjang bisa menyelamatkan lebih banyak nyawa daripada sistem dengan AUROC lebih tinggi yang nyaris tidak unggul dalam deteksi dini.

Kami memegang standar yang sama untuk diri kami sendiri. Hasil validasi kami, termasuk kalibrasi dan lead time, akan kami terbitkan begitu selesai.