ज़्यादातर clinical AI validation studies गुमराह क्यों करती हैं

AUROC: वह नंबर जो सब बताते हैं और लगभग कोई नहीं समझता

जब कोई clinical AI कंपनी अपने validation नतीजे प्रकाशित करती है, तो सुर्ख़ी में लगभग हमेशा AUROC होता है, यानी Area Under the Receiver Operating Characteristic curve। 0.95 का AUROC सुनने में असाधारण लगता है, और pitch decks, press releases और conference talks में इसे बार-बार इस बात के सबूत के तौर पर पेश किया जाता है कि system “काम करता है”। अस्पतालों के प्रबंधक, निवेशक, यहाँ तक कि कुछ clinicians भी 0.95 देखकर यह मान लेते हैं कि system लक्षित बीमारी को 95% बार सही पहचानता है।

यह मतलब ग़लत है।

AUROC discrimination मापता है: यानी यह क्षमता कि अगर एक positive और एक negative case बेतरतीब चुने जाएँ, तो system positive को ऊपर रखे। यह सभी संभावित classification thresholds को समेटकर निकाला गया एक नंबर है, जबकि उनमें से ज़्यादातर thresholds अमल में कभी इस्तेमाल ही नहीं होंगे। बाक़ी सब बराबर हो, तो 0.95 AUROC वाला system ranking में 0.80 वाले से बेहतर है। लेकिन AUROC यह कुछ नहीं बताता कि उस ख़ास operating threshold पर क्या होगा जिस पर अस्पताल इसे सचमुच चलाएगा, और यह भी नहीं कि जिन मरीज़ों की अस्पताल सचमुच सेवा करता है, उनमें system की performance कैसी रहेगी।

Bedside पर 0.95 कैसा दिखता है

एक sepsis detection system लीजिए जिसका AUROC 0.95 है, sensitivity 85% और specificity 90%। किसी paper में ये नंबर मज़बूत लगते हैं। अब इन्हें एक असली ICU में रखिए, जहाँ sepsis की prevalence 5% है।

हर 1,000 screened मरीज़ों में से 50 को sepsis है, 950 को नहीं। System 50 में से 42.5 sepsis मरीज़ों को सही पहचानता है। बिना sepsis वाले 950 में से 855 को सही-सही clear करता है। मगर उन्हीं 950 में से 95 पर झूठा alarm भी बजा देता है। Positive predictive value, यानी यह संभावना कि जिस मरीज़ पर flag लगा उसे सचमुच sepsis हो, 42.5 / (42.5 + 95) = 30.9% बनती है।

इस system का इस्तेमाल करने वाले clinician को हर सच्चे alarm के साथ लगभग दो झूठे alarm मिलेंगे। एक व्यस्त ICU में जो system alert देते समय 70% बार ग़लत हो, उसे कुछ ही हफ़्तों में शोर मानकर अनदेखा किया जाने लगता है। 0.95 का AUROC सच है, मगर वह false positives के उस बोझ को ढक देता है जो तय करता है कि कोई इस system को सचमुच इस्तेमाल करेगा या नहीं।

यह सिलसिला मैंने AI में आने से बहुत पहले, अपनी clinical training के दौरान देखा था। EHR की alert fatigue इस हद तक पहुँच चुकी थी कि डॉक्टरों के हाथ alert का पाठ पढ़े बिना अपने आप “override” पर click करने के आदी हो चुके थे।

जब हर चीज़ alarm हो, तो कोई चीज़ alarm नहीं रहती।

जहाँ बना, वहीं validate हुआ

ज़्यादातर clinical AI validation studies system को उसी संस्थान के data पर test करती हैं जिसने उसे बनाया। वजहें व्यावहारिक हैं: developers के पास अपने data तक पहुँच होती है, वे अपने documentation के तौर-तरीक़े समझते हैं, और internal validation तेज़ और सस्ती है। मगर इससे एक systematic bias पैदा होता है, जो reported performance को बढ़ा-चढ़ाकर दिखाता है।

अस्पताल आपस में कई ऐसी बातों में अलग होते हैं जिनका algorithm की performance पर गहरा असर पड़ता है। Documentation का तरीक़ा बदलता है: कहीं vital signs हर घंटे chart होते हैं, कहीं हर चार घंटे पर। Labs order करने के ढंग अलग हैं। EHR configurations एक जैसे नहीं। जब कोई model एक ही संस्थान के data पर train और test होता है, तो वह असली clinical signals के साथ-साथ इन सभी स्थानीय artifacts को भी सीख लेता है। Internal validation दोनों को पकड़ती है। External validation बताती है कि कौन-से signals असली हैं।

सबसे बड़ा सबक़ Epic के sepsis prediction model से मिलता है। अंदरूनी तौर पर train और validate होने पर उसने मज़बूत discrimination दिखाई। जब University of Michigan के शोधकर्ताओं ने उसी model को अपने मरीज़ों पर स्वतंत्र रूप से परखा, तो AUROC गिरकर 0.63 रह गया, जो तुक्के से बमुश्किल बेहतर है। Wong et al. की यह study, जो 2021 में JAMA Internal Medicine में प्रकाशित हुई, बताती है कि model ने sepsis के दो-तिहाई cases छोड़ दिए, और इतने झूठे alerts दिए कि clinicians का भरोसा तेज़ी से टूट गया।

Korean Journal of Radiology में प्रकाशित एक systematic review ने diagnostic imaging AI की 516 प्रकाशित studies की पड़ताल की और पाया कि सिर्फ़ 6% ने अपना algorithm किसी स्वतंत्र, external dataset पर test किया था। जो अस्पताल बाक़ी 94% के आधार पर ख़रीद के फ़ैसले करते हैं, वे एक ठोस अर्थ में performance के ऐसे दावे ख़रीद रहे हैं जिनकी कभी स्वतंत्र जाँच नहीं हुई।

सच्चे नंबर भी गुमराह कर सकते हैं

कोई कंपनी बिलकुल सही नंबर बताकर भी भ्रामक तस्वीर बना सकती है। बात धोखाधड़ी की नहीं। बात पेश करने के ढंग की है।

चुनिंदा subgroups की reporting: जिस system का कुल AUROC 0.82 हो, वह 65 साल से ऊपर के उन मरीज़ों में, जिनकी कम से कम तीन comorbidities हों, 0.91 तक पहुँच सकता है। कंपनी “high-risk population” के लिए 0.91 का नंबर बताती है; यह तकनीकी तौर पर सही है, मगर यह छाप छोड़ता है कि system पूरी patient population में उससे बेहतर काम करता है जितना वह असल में करता है।

PPV के बिना sensitivity और specificity बताना: जो कंपनी कहती है “92% sensitivity और 88% specificity”, वह सच्चे और प्रभावशाली लगने वाले नंबर बता रही है। जो कंपनी कहती है “4% prevalence पर 28% PPV”, वह उसी system की बात कर रही है। Sales presentation में आप कौन-सा नंबर सबसे पहले रखेंगे?

एक ज़िम्मेदार validation report performance उसी threshold पर दिखाती है जो deployment में सचमुच इस्तेमाल होगा, सिर्फ़ सभी संभावित thresholds पर नहीं। वह दिखाती है कि अलग-अलग तरह के अस्पतालों और मरीज़ों की अलग-अलग आबादियों में system कैसा चलता है, सिर्फ़ एक pooled नंबर नहीं। और वह बताती है कि validation internal थी या external। ज़्यादातर ऐसा नहीं करतीं।

Clinical AI अपनाने से पहले उसे कैसे परखें

Clinical AI को परख रहे ज़्यादातर health systems को एक slide deck दिखाया जाता है जिसमें performance का बस एक नंबर होता है। वह नंबर आम तौर पर AUROC होता है, एक ऐसा metric जिसे interpret करने की training ज़्यादातर clinicians और अस्पताल प्रबंधकों को कभी मिली ही नहीं। यह मापता है कि system मरीज़ों को risk के हिसाब से कितनी अच्छी तरह क्रम में लगाता है, यह नहीं कि alert देते समय वह कितना सही होता है। ऊँचे AUROC का मतलब यह नहीं कि system आपके अस्पताल में, आपके मरीज़ों पर, उस threshold पर जो आप इस्तेमाल करेंगे, अच्छा चलेगा।

ज़्यादा अहम सवाल ये हैं। क्या system को ऐसे अस्पतालों में test किया गया जो उसे बनाने में शामिल नहीं थे? अगर validation सिर्फ़ internal थी, तो हो सकता है आपके संस्थान में वह performance टिके नहीं। अलग-अलग अस्पताल अलग तरह से documentation करते हैं, labs अलग frequency से order करते हैं, और अलग आबादियों की सेवा करते हैं। जो system उसी अस्पताल में चलता है जहाँ बना, उसने बहुत कम साबित किया है कि वह और कहाँ चलेगा।

आपकी nurses को हर shift में कितने झूठे alarms देखने पड़ेंगे? अगर system हर unit में 20 alerts दे और उनमें से 15 ग़लत हों, तो आपका स्टाफ़ कुछ ही हफ़्तों में सबको अनदेखा करना सीख जाएगा। उसी असली threshold पर false positive rate माँगिए जिस पर system चलता है, validation paper वाला सैद्धांतिक best case नहीं।

यह समस्याओं को असल में कितना पहले पकड़ता है? जो system संकट से 2 घंटे पहले deterioration पकड़े, वह कुछ फ़ायदा देता है। जो एक दिन या उससे ज़्यादा पहले पकड़े, वह आपकी team को बिलकुल अलग interventions का समय देता है। असली deployments से median lead time माँगिए, retrospective analysis से नहीं।

क्या आपके clinicians देख सकते हैं कि system ने किसी मरीज़ पर flag क्यों लगाया? अगर जवाब ना है, तो accuracy कुछ भी हो, adoption कम रहेगा। डॉक्टरों को सबूत परखने की training मिलती है, बिना वजह बताए scores पर अमल करने की नहीं।

Calibration, lead time, और वे metrics जो कोई report नहीं करता

ML community ने discrimination metrics को बेहतर बनाने पर लगातार ज़ोर दिया है। AUROC और AUPRC इस सवाल का जवाब देते हैं कि क्या system positive और negative cases को अलग कर सकता है। Clinical deployment के लिए यह ज़रूरी है, मगर काफ़ी नहीं।

Calibration यह मापती है कि predicted probabilities absolute terms में भरोसेमंद हैं या नहीं। एक अच्छी तरह calibrated system जिस समूह को sepsis का 30% risk दे, उस समूह में लगभग 30% को सचमुच sepsis होना चाहिए। Calibration कमज़ोर हो तो नंबरों को जस का तस नहीं माना जा सकता, और जो clinician watchful waiting और aggressive intervention के बीच फ़ैसला कर रहा हो, उसे जानना ज़रूरी है कि “70% risk” का मतलब सचमुच 70% है। Calibration को calibration curves, Brier scores और Hosmer-Lemeshow statistic से जाँचा जा सकता है। Clinical AI के प्रकाशनों में यह बहुत कम report होती है। इसकी ग़ैरमौजूदगी को ख़तरे की घंटी समझना चाहिए।

Lead time यह मापता है कि पारंपरिक तरीक़ों की तुलना में system बीमारी को कितना पहले पकड़ता है। जो systems “early warning” का दावा करते हैं, उनके लिए असली सवाल सिर्फ़ यह नहीं कि वे deterioration पहचान सकते हैं या नहीं, बल्कि यह है कि standard clinical assessment की तुलना में वे उसे कितना पहले पहचानते हैं। कम AUROC मगर 20 घंटे ज़्यादा lead time वाला system, ऊँचे AUROC मगर न के बराबर early detection वाले system से ज़्यादा जानें बचा सकता है।

हम ख़ुद को भी इन्हीं मानकों पर परखते हैं। हमारी अपनी validation, calibration और lead time समेत, पूरी होते ही प्रकाशित की जाएगी।