زیادہ تر clinical AI validation studies گمراہ کن کیوں ہوتی ہیں

AUROC: وہ نمبر جو سب بتاتے ہیں اور تقریباً کوئی نہیں سمجھتا

جب کوئی clinical AI کمپنی اپنے validation نتائج شائع کرتی ہے تو سرخی میں تقریباً ہمیشہ AUROC ہوتا ہے، یعنی Area Under the Receiver Operating Characteristic curve۔ 0.95 کا AUROC سننے میں غیر معمولی لگتا ہے، اور pitch decks، press releases اور conference talks میں اسے اس بات کے ثبوت کے طور پر بار بار پیش کیا جاتا ہے کہ system “کام کرتا ہے”۔ ہسپتالوں کے منتظمین، سرمایہ کار، حتیٰ کہ کچھ clinicians بھی 0.95 دیکھ کر یہ نتیجہ نکال لیتے ہیں کہ system ہدف والی بیماری کو 95% بار درست پہچانتا ہے۔

یہ مطلب غلط ہے۔

AUROC discrimination ناپتا ہے: یعنی system کی یہ صلاحیت کہ randomly چنے گئے کسی positive case کو randomly چنے گئے negative case سے اوپر rank کرے۔ یہ تمام ممکنہ classification thresholds کا ایک مجموعی خلاصہ ہے، جن میں سے زیادہ تر عملی طور پر کبھی استعمال ہی نہیں ہوں گے۔ باقی سب برابر ہو تو 0.95 AUROC والا system ترتیب دینے میں 0.80 والے سے بہتر ہے۔ لیکن AUROC یہ کچھ نہیں بتاتا کہ اس مخصوص operating threshold پر کیا ہوگا جس پر ہسپتال اسے واقعی چلائے گا، اور یہ بھی نہیں کہ جس آبادی کی ہسپتال خدمت کرتا ہے اس میں system کی کارکردگی کیسی ہوگی۔

Bedside پر 0.95 کیسا دکھتا ہے

ایک sepsis detection system لیجیے جس کا AUROC 0.95 ہے، sensitivity 85% اور specificity 90%۔ کسی paper میں یہ نمبر مضبوط لگتے ہیں۔ اب انہیں ایک حقیقی ICU میں رکھیے جہاں sepsis کی prevalence 5% ہے۔

ہر 1,000 screened مریضوں میں سے 50 کو sepsis ہے، 950 کو نہیں۔ System 50 میں سے 42.5 sepsis مریضوں کو درست پہچانتا ہے۔ بغیر sepsis والے 950 میں سے 855 کو درست طور پر clear کرتا ہے۔ مگر انہی 950 میں سے 95 پر غلط alarm بھی بجا دیتا ہے۔ Positive predictive value، یعنی یہ امکان کہ جس مریض پر flag لگا اسے واقعی sepsis ہو، 42.5 / (42.5 + 95) = 30.9% بنتی ہے۔

اس system کو استعمال کرنے والے clinician کو ہر سچے alarm کے ساتھ تقریباً دو جھوٹے alarm ملیں گے۔ ایک مصروف ICU میں جو system alert دیتے وقت 70% بار غلط ہو، اسے چند ہفتوں میں شور سمجھ کر نظرانداز کیا جانے لگتا ہے۔ 0.95 کا AUROC اپنی جگہ درست ہے، مگر وہ false positives کے اس بوجھ پر پردہ ڈال دیتا ہے جو طے کرتا ہے کہ کوئی اس system کو واقعی استعمال کرے گا یا نہیں۔

AI میں آنے سے بہت پہلے، اپنی clinical training کے دوران میں نے یہی ہوتے دیکھا تھا۔ EHR کی alert fatigue اس حد تک پہنچ چکی تھی کہ ڈاکٹروں کے ہاتھ alert کا متن پڑھے بغیر خود بخود “override” پر click کرنے کے عادی ہو چکے تھے۔

جب ہر چیز alarm ہو، تو کوئی چیز alarm نہیں رہتی۔

جہاں بنا، وہیں validate ہوا

زیادہ تر clinical AI validation studies system کو اسی ادارے کے data پر test کرتی ہیں جس نے اسے بنایا۔ وجوہات عملی ہیں: developers کو اپنے data تک رسائی ہوتی ہے، وہ اپنی documentation کے انداز سمجھتے ہیں، اور internal validation تیز اور سستی ہے۔ مگر اس سے ایک منظم bias پیدا ہوتا ہے جو report کی گئی کارکردگی کو بڑھا چڑھا دیتا ہے۔

ہسپتال ایک دوسرے سے ایسے طریقوں سے مختلف ہوتے ہیں جو algorithm کی کارکردگی پر گہرا اثر ڈالتے ہیں۔ Documentation کا طریقہ بدلتا ہے: کہیں vital signs ہر گھنٹے chart ہوتے ہیں، کہیں ہر چار گھنٹے بعد۔ Labs order کرنے کے انداز الگ ہیں۔ EHR configurations یکساں نہیں۔ جب کوئی model ایک ہی ادارے کے data پر train اور test ہوتا ہے، تو وہ حقیقی clinical signals کے ساتھ ساتھ ان تمام مقامی artifacts کو بھی سیکھ لیتا ہے۔ Internal validation دونوں کو پکڑتی ہے۔ External validation بتاتی ہے کہ کون سے signals اصلی ہیں۔

سب سے سبق آموز مثال Epic کا sepsis prediction model ہے۔ اندرونی طور پر train اور validate ہونے پر اس نے مضبوط discrimination دکھائی۔ جب University of Michigan کے محققین نے اسی model کو اپنے مریضوں پر آزادانہ پرکھا تو AUROC گر کر 0.63 رہ گیا، جو اندھے تکے سے بمشکل بہتر ہے۔ Wong et al. کی یہ study، جو 2021 میں JAMA Internal Medicine میں شائع ہوئی، بتاتی ہے کہ model نے sepsis کے دو تہائی cases چھوڑ دیے، اور اتنے غلط alerts دیے کہ clinicians کا اعتماد تیزی سے ختم ہو گیا۔

Korean Journal of Radiology میں شائع ایک systematic review نے diagnostic imaging AI کی 516 شائع شدہ studies کا جائزہ لیا اور پایا کہ صرف 6% نے اپنا algorithm کسی آزاد، external dataset پر test کیا تھا۔ جو ہسپتال باقی 94% کی بنیاد پر خریداری کے فیصلے کرتے ہیں، وہ سچ پوچھیے تو کارکردگی کے غیر مصدقہ دعوے خرید رہے ہیں۔

سچے نمبر بھی گمراہ کر سکتے ہیں

کوئی کمپنی بالکل درست نمبر بتا کر بھی گمراہ کن تصویر بنا سکتی ہے۔ بات دھوکا دہی کی نہیں۔ بات پیش کرنے کے انداز کی ہے۔

چنیدہ subgroups کی reporting: جس system کا مجموعی AUROC 0.82 ہو، وہ 65 سال سے زائد عمر کے ان مریضوں میں جن کی کم از کم تین comorbidities ہوں، 0.91 تک پہنچ سکتا ہے۔ کمپنی “high-risk population” کے لیے 0.91 کا نمبر بتاتی ہے؛ یہ تکنیکی طور پر درست ہے، مگر تاثر یہ دیتا ہے کہ system پوری patient population میں اس سے بہتر کام کرتا ہے جتنا وہ اصل میں کرتا ہے۔

PPV کے بغیر sensitivity اور specificity بتانا: جو کمپنی کہتی ہے “92% sensitivity اور 88% specificity”، وہ سچے اور متاثر کن لگنے والے نمبر بتا رہی ہے۔ جو کمپنی کہتی ہے “4% prevalence پر 28% PPV”، وہ اسی system کی بات کر رہی ہے۔ Sales presentation میں آپ کون سا نمبر سب سے پہلے رکھیں گے؟

ایک ذمہ دار validation report کارکردگی اسی threshold پر دکھاتی ہے جو deployment میں واقعی استعمال ہوگا، صرف تمام ممکنہ thresholds پر نہیں۔ وہ دکھاتی ہے کہ مختلف قسم کے ہسپتالوں اور مریضوں کی مختلف آبادیوں میں system کیسا چلتا ہے، صرف ایک pooled نمبر نہیں۔ اور وہ یہ بتاتی ہے کہ validation internal تھی یا external۔ زیادہ تر ایسا نہیں کرتیں۔

Clinical AI اپنانے سے پہلے اسے کیسے پرکھیں

Clinical AI کو پرکھنے والے زیادہ تر health systems کو ایک slide deck دکھایا جاتا ہے جس میں کارکردگی کا ایک ہی نمبر ہوتا ہے۔ وہ نمبر عموماً AUROC ہوتا ہے، ایک ایسا metric جسے سمجھنے کی تربیت زیادہ تر clinicians اور ہسپتال منتظمین کو کبھی ملی ہی نہیں۔ یہ ناپتا ہے کہ system مریضوں کو risk کے حساب سے کتنی اچھی ترتیب دیتا ہے، یہ نہیں کہ alert دیتے وقت وہ کتنا درست ہوتا ہے۔ اونچے AUROC کا مطلب یہ نہیں کہ system آپ کے ہسپتال میں، آپ کے مریضوں پر، اس threshold پر جو آپ استعمال کریں گے، اچھا چلے گا۔

زیادہ اہم سوال یہ ہیں۔ کیا system کو ایسے ہسپتالوں میں test کیا گیا جو اسے بنانے میں شامل نہیں تھے؟ اگر validation صرف internal تھی تو ممکن ہے آپ کے ادارے میں وہ کارکردگی برقرار نہ رہے۔ مختلف ہسپتال مختلف طرح documentation کرتے ہیں، مختلف تواتر سے labs order کرتے ہیں، اور مختلف آبادیوں کی خدمت کرتے ہیں۔ جو system اسی ہسپتال میں چلتا ہے جہاں بنا، اس نے یہ بہت کم ثابت کیا ہے کہ وہ اور کہاں چلے گا۔

آپ کی nurses کو ہر shift میں کتنے جھوٹے alarms دیکھنے پڑیں گے؟ اگر system ہر unit میں 20 alerts دے اور ان میں سے 15 غلط ہوں، تو آپ کا عملہ چند ہفتوں میں سب کو نظرانداز کرنا سیکھ لے گا۔ اسی اصل threshold پر false positive rate مانگیے جس پر system چلتا ہے، validation paper کا نظریاتی بہترین منظر نہیں۔

یہ مسائل کو اصل میں کتنا پہلے پکڑتا ہے؟ جو system بحران سے 2 گھنٹے پہلے deterioration پکڑے، وہ کچھ فائدہ دیتا ہے۔ جو ایک دن یا اس سے زیادہ پہلے پکڑے، وہ آپ کی team کو بالکل مختلف interventions کا وقت دیتا ہے۔ حقیقی deployments سے median lead time مانگیے، retrospective analysis سے نہیں۔

کیا آپ کے clinicians دیکھ سکتے ہیں کہ system نے کسی مریض پر flag کیوں لگایا؟ اگر جواب نہیں ہے، تو accuracy کچھ بھی ہو، adoption کم رہے گی۔ ڈاکٹروں کی تربیت شواہد پرکھنے کی ہوتی ہے، بے وضاحت scores پر عمل کرنے کی نہیں۔

Calibration، lead time، اور وہ metrics جو کوئی report نہیں کرتا

ML community نے discrimination metrics کو بہتر بنانے پر انتھک زور دیا ہے۔ AUROC اور AUPRC اس سوال کا جواب دیتے ہیں کہ کیا system positive اور negative cases کو الگ کر سکتا ہے۔ Clinical deployment کے لیے یہ ضروری ہے، مگر کافی نہیں۔

Calibration یہ ناپتی ہے کہ پیش گوئی کی گئی probabilities مطلق معنوں میں قابلِ اعتبار ہیں یا نہیں۔ ایک اچھی طرح calibrated system جس گروپ کو sepsis کا 30% risk دے، اس گروپ میں تقریباً 30% کو واقعی sepsis ہونا چاہیے۔ Calibration کمزور ہو تو نمبروں کو جوں کا توں نہیں مانا جا سکتا، اور جو clinician watchful waiting اور aggressive intervention کے بیچ فیصلہ کر رہا ہو، اسے جاننا ضروری ہے کہ “70% risk” کا مطلب واقعی 70% ہے۔ Calibration کو calibration curves، Brier scores اور Hosmer-Lemeshow statistic سے جانچا جا سکتا ہے۔ Clinical AI کی اشاعتوں میں یہ شاذ ہی report ہوتی ہے۔ اس کی غیر موجودگی کو خطرے کی گھنٹی سمجھنا چاہیے۔

Lead time یہ ناپتا ہے کہ روایتی طریقوں کے مقابلے میں system بیماری کو کتنا پہلے پکڑتا ہے۔ جو systems “early warning” کا دعویٰ کرتے ہیں، ان کے لیے اصل سوال صرف یہ نہیں کہ وہ deterioration پہچان سکتے ہیں یا نہیں، بلکہ یہ ہے کہ معیاری clinical assessment کے مقابلے میں وہ اسے کتنا پہلے پہچانتے ہیں۔ کم AUROC مگر 20 گھنٹے زیادہ lead time والا system، اونچے AUROC مگر نہ ہونے کے برابر early detection والے system سے زیادہ جانیں بچا سکتا ہے۔

ہم خود کو بھی انہی معیاروں پر پرکھتے ہیں۔ ہماری اپنی validation، calibration اور lead time سمیت، مکمل ہوتے ہی شائع کی جائے گی۔