لماذا تضلّل معظم دراسات التحقق من الذكاء الاصطناعي السريري

AUROC: الرقم الذي يذكره الجميع ولا يكاد يفهمه أحد

حين تنشر شركة للذكاء الاصطناعي السريري نتائج التحقق من نظامها، يكاد المقياس الأبرز يكون دائمًا AUROC، أي المساحة تحت منحنى خاصية التشغيل للمستقبِل (ROC). قيمة 0.95 تبدو استثنائية، وتتكرر في عروض المستثمرين والبيانات الصحفية ومحاضرات المؤتمرات دليلًا على أن النظام «يعمل». يرى مديرو المستشفيات والمستثمرون، بل وبعض الأطباء، الرقم 0.95 فيستنتجون أن النظام يصيب في التعرف على الحالة المستهدفة في 95% من المرات.

وهذا فهم خاطئ.

يقيس AUROC القدرة التمييزية (discrimination)، أي قدرة النظام على أن يضع حالة إيجابية مختارة عشوائيًا في مرتبة خطورة أعلى من حالة سلبية مختارة عشوائيًا. وهو خلاصة لأداء النظام عند كل عتبات التصنيف الممكنة، ومعظمها لن يُستخدم في الممارسة أبدًا. النظام الذي يبلغ AUROC عنده 0.95 أبرع في الترتيب من نظام يبلغ 0.80، إذا تساوت سائر العوامل. لكن AUROC لا يقول شيئًا عما يحدث عند العتبة التي سيعتمدها المستشفى فعلًا، ولا عن أداء النظام في الفئة التي يخدمها المستشفى فعلًا.

كيف تبدو 0.95 عند سرير المريض

لنأخذ نظامًا لكشف الإنتان (تعفّن الدم، sepsis) يبلغ AUROC عنده 0.95، وحساسيته 85%، ونوعيته 90%. أرقام تبدو قوية في ورقة علمية. ضعها الآن في وحدة عناية مركزة حقيقية يبلغ فيها انتشار الإنتان 5%.

من كل 1,000 مريض يخضعون للفحص، 50 مصابون بالإنتان و950 غير مصابين. يتعرف النظام تعرفًا صحيحًا على 42.5 من المصابين الخمسين، ويبرّئ بحق 855 من غير المصابين البالغ عددهم 950. لكنه يطلق كذلك 95 إنذارًا كاذبًا من بين هؤلاء الـ 950. والقيمة التنبؤية الإيجابية (PPV)، أي احتمال أن يكون المريض الذي نبّه إليه النظام مصابًا فعلًا، تساوي 42.5 / (42.5 + 95) = 30.9%.

الطبيب الذي يستخدم هذا النظام سيرى إنذارين كاذبين تقريبًا مقابل كل إنذار صادق. وفي وحدة عناية مركزة مزدحمة، سيُعامَل النظام الذي يخطئ في 70% من تنبيهاته معاملة الضجيج في غضون أسابيع. قيمة AUROC البالغة 0.95 حقيقية، لكنها تحجب عبء الإنذارات الكاذبة، وهو ما يقرر في النهاية إن كان أحد سيستخدم النظام.

رأيت هذه الدينامية بعيني في أثناء تدريبي السريري، قبل أن أعمل في الذكاء الاصطناعي بزمن طويل. كان إرهاق التنبيهات في الـ EHR قد بلغ حدًّا صار معه الأطباء يضغطون «override» بحركة اعتادتها أيديهم، من غير أن يقرؤوا نص التنبيه.

حين يصير كل شيء إنذارًا، لا يبقى شيء إنذارًا.

اختُبر حيث بُني

تختبر معظم دراسات التحقق من الذكاء الاصطناعي السريري النظام على بيانات من المؤسسة نفسها التي طورته. والأسباب عملية: فالمطورون يملكون الوصول إلى بياناتهم، ويفهمون أنماط التوثيق فيها، والتحقق الداخلي أسرع وأرخص. لكنه يولّد انحيازًا منهجيًا يضخّم الأداء المعلَن.

وتختلف المستشفيات فيما بينها اختلافات تؤثر تأثيرًا عميقًا في أداء الخوارزميات. فممارسات التوثيق متباينة: بعض المؤسسات تسجل العلامات الحيوية كل ساعة، وبعضها كل أربع ساعات. وأنماط طلب التحاليل تختلف، وإعدادات أنظمة EHR غير موحدة. وحين يُدرَّب نموذج ويُختبر على بيانات مؤسسة واحدة، فإنه يتعلم أنماطًا تختلط فيها خصوصيات المكان بالإشارات السريرية الحقيقية. التحقق الداخلي يلتقط الاثنين معًا، والتحقق الخارجي وحده يكشف أيّ الإشارات حقيقي.

وأبلغ مثال على ذلك نموذج Epic للتنبؤ بالإنتان. دُرّب النموذج وجرى التحقق منه داخليًا، فأظهر قدرة تمييزية قوية. ثم قيّم باحثون في University of Michigan النموذج نفسه تقييمًا مستقلًا على مرضاهم، فهبط AUROC إلى 0.63، أي أفضل بقليل من الصدفة. ووجدت الدراسة، التي نشرها Wong et al. في JAMA Internal Medicine عام 2021، أن النموذج فوّت ثلثي حالات الإنتان، وأطلق من الإنذارات الكاذبة ما جعل ثقة الأطباء به تتآكل بسرعة.

وفي مراجعة منهجية نُشرت في Korean Journal of Radiology، فُحصت 516 دراسة منشورة عن الذكاء الاصطناعي في التصوير التشخيصي، فتبيّن أن 6% منها فقط اختبرت خوارزميتها على مجموعة بيانات خارجية مستقلة. والمستشفيات التي تبني قرارات الشراء على الـ 94% الباقية تشتري، في حقيقة الأمر، ادعاءات أداء لم يتحقق منها أحد.

الأرقام الصادقة قد تضلّل أيضًا

قد تنشر الشركة أرقامًا صحيحة تمامًا، ومع ذلك ترسم صورة مضللة. المسألة ليست احتيالًا، بل طريقة عرض.

انتقاء الفئات الفرعية: نظام يبلغ AUROC الكلي عنده 0.82 قد يصل إلى 0.91 عند المرضى فوق 65 عامًا ممن لديهم ثلاثة أمراض مصاحبة على الأقل. فتعلن الشركة رقم 0.91 لـ «الفئة عالية الخطورة»، وهو صحيح من الناحية الفنية، لكنه يوحي بأداء أفضل مما يقدمه النظام لعموم المرضى.

ذكر الحساسية والنوعية من غير PPV: الشركة التي تقول «حساسية 92% ونوعية 88%» تذكر أرقامًا صحيحة تبدو مبهرة. والشركة التي تقول «PPV يبلغ 28% عند انتشار يبلغ 4%» تصف النظام نفسه. فبأيّ الرقمين ستفتتح عرض المبيعات؟

تقرير التحقق المسؤول يعرض الأداء عند العتبة المستخدمة فعلًا في التشغيل، لا عبر كل العتبات الممكنة فحسب. ويبيّن كيف يؤدي النظام في أنواع مختلفة من المستشفيات وفئات مختلفة من المرضى، لا في رقم مجمّع واحد. ويفصح عما إذا كان التحقق داخليًا أم خارجيًا. ومعظم التقارير لا تفعل ذلك.

كيف تقيّم الذكاء الاصطناعي السريري قبل أن تعتمده

معظم الأنظمة الصحية التي تقيّم الذكاء الاصطناعي السريري يُقدَّم لها عرض شرائح فيه رقم واحد للأداء. وهذا الرقم في العادة هو AUROC، وهو مقياس لم يتدرب معظم الأطباء ومديري المستشفيات على تفسيره قط. إنه يقيس جودة ترتيب النظام للمرضى بحسب الخطورة، لا دقته حين يطلق تنبيهًا فعلًا. وارتفاع AUROC لا يعني أن النظام سيعمل جيدًا في مستشفاك، مع مرضاك، عند العتبة التي ستستخدمها.

إليك ما يهم أكثر. هل اختُبر النظام في مستشفيات لم تشارك في بنائه؟ إن كان التحقق داخليًا فقط، فقد لا يصمد الأداء في مؤسستك. فالمستشفيات تختلف في التوثيق، وفي وتيرة طلب التحاليل، وفي الفئات التي تخدمها. والنظام الذي ينجح في المستشفى الذي بُني فيه لم يثبت إلا القليل عن نجاحه في أي مكان آخر.

كم إنذارًا كاذبًا ستراه ممرضاتك في كل مناوبة؟ إن أطلق النظام 20 تنبيهًا في الوحدة الواحدة، 15 منها خاطئة، فسيتعلم فريقك تجاهلها جميعًا في غضون أسابيع. اطلب معدل الإيجابية الكاذبة عند العتبة الفعلية التي يستخدمها النظام، لا أفضل حالة نظرية وردت في ورقة التحقق.

كم يسبق النظام المشكلة فعلًا؟ النظام الذي يلتقط التدهور قبل الأزمة بساعتين يقدم بعض الفائدة. أما النظام الذي يلتقطه قبلها بيوم أو أكثر فيمنح فريقك وقتًا لتدخلات من نوع آخر تمامًا. اطلب الوسيط الفعلي لزمن السبق (lead time) من عمليات تشغيل حقيقية، لا من تحليل استعادي.

هل يرى أطباؤك لماذا نبّه النظام إلى مريض بعينه؟ إن كان الجواب لا، فسيبقى التبني ضعيفًا مهما بلغت الدقة. فالأطباء مدرَّبون على تقييم الأدلة، لا على التصرف بناءً على درجات لا تفسير لها.

المعايرة وزمن السبق، والمقاييس التي لا ينشرها أحد

سعى مجتمع تعلم الآلة (ML) بلا هوادة إلى تحسين مقاييس التمييز. يجيب AUROC وAUPRC عن سؤال واحد: هل يستطيع النظام أن يفصل الحالات الإيجابية عن السلبية؟ وهذا شرط لازم للتطبيق السريري، لكنه غير كافٍ.

تقيس المعايرة (calibration) مدى موثوقية الاحتمالات المتنبأ بها بقيمتها المطلقة. فإذا قدّر نظام جيد المعايرة خطر الإنتان عند مجموعة من المرضى بـ 30%، فينبغي أن يُصاب نحو 30% منهم به فعلًا. وضعف المعايرة يعني أن الأرقام لا يمكن أخذها على ظاهرها، والطبيب الذي يحتار بين الانتظار مع المراقبة وبين التدخل الحاسم يحتاج أن يعرف إن كان «خطر 70%» يعني 70% حقًا. وتُقيَّم المعايرة بمنحنيات المعايرة، ودرجات Brier، وإحصائية Hosmer-Lemeshow. ونادرًا ما تُذكر في منشورات الذكاء الاصطناعي السريري. وغيابها ينبغي أن يُقرأ علامة تحذير.

ويقيس زمن السبق مدى تبكير النظام في كشف الحالات مقارنة بالمناهج المعتادة. وبالنسبة إلى الأنظمة التي تعد بـ «إنذار مبكر»، فالسؤال ليس فقط إن كانت تكشف التدهور، بل كم تسبق في كشفه التقييم السريري المعتاد. والنظام الأدنى في AUROC الذي يمنح 20 ساعة إضافية من زمن السبق قد ينقذ أرواحًا أكثر من نظام أعلى في AUROC لا يكاد يملك أي أفضلية في الكشف المبكر.

ونحن نُخضع أنفسنا للمعايير نفسها. وسننشر نتائج التحقق الخاص بنا، بما فيها المعايرة وزمن السبق، حين يكتمل.