AUROC: המספר שכולם מדווחים וכמעט איש אינו מבין
כשחברת AI קליני מפרסמת תוצאות תיקוף, המדד שבכותרת הוא כמעט תמיד AUROC, השטח שמתחת לעקומת ה-ROC (Receiver Operating Characteristic). AUROC של 0.95 נשמע יוצא מן הכלל, ושוב ושוב הוא מוצג במצגות למשקיעים, בהודעות לעיתונות ובהרצאות בכנסים כהוכחה שהמערכת "עובדת". מנהלי בתי חולים, משקיעים ואפילו חלק מהקלינאים רואים 0.95 ומסיקים שהמערכת מזהה נכון את המצב הנבדק ב-95% מהמקרים.
המסקנה הזאת שגויה.
AUROC מודד יכולת הבחנה (discrimination): את הסיכוי שהמערכת תדרג מקרה חיובי אקראי מעל מקרה שלילי אקראי. הוא מסכם את הביצועים על פני כל ספי הסיווג האפשריים, ורובם לא ישמשו בפועל לעולם. אם כל השאר שווה, מערכת עם AUROC של 0.95 מדרגת טוב יותר ממערכת עם 0.80. אבל ה-AUROC לא מגלה דבר על מה שיקרה בסף ההפעלה שבית החולים יבחר בפועל, וגם לא על הביצועים באוכלוסייה שבית החולים מטפל בה בפועל.
איך נראה 0.95 ליד מיטת החולה
נניח מערכת לזיהוי ספסיס עם AUROC של 0.95, רגישות של 85% וסגוליות של 90%. במאמר אלה מספרים חזקים. עכשיו נציב אותה ב-ICU אמיתי, שבו שכיחות הספסיס היא 5%.
מתוך כל 1,000 מטופלים שנבדקים, ל-50 יש ספסיס ול-950 אין. המערכת מזהה נכון 42.5 מתוך 50 החולים, ושוללת נכון את המחלה אצל 855 מתוך 950 האחרים. אבל מאותם 950 היא מפיקה גם 95 התרעות שווא. הערך המנבא החיובי (PPV), כלומר ההסתברות שלמטופל שסומן באמת יש ספסיס, הוא 42.5 / (42.5 + 95) = 30.9%.
קלינאי שעובד עם המערכת יקבל בערך שתי התרעות שווא על כל התרעה אמיתית. ב-ICU עמוס, מערכת שטועה ב-70% מההתרעות שלה תיחשב לרעש רקע בתוך שבועות. ה-AUROC של 0.95 אמיתי, אבל הוא מסתיר את נטל החיוביים הכוזבים, ודווקא הנטל הזה קובע אם מישהו ישתמש במערכת בכלל.
ראיתי את הדינמיקה הזאת בזמן ההכשרה הקלינית, הרבה לפני שעבדתי ב-AI. עייפות ההתרעות מה-EHR הייתה כבר אז כה חמורה, שהרופאים פיתחו זיכרון שריר: לחיצה על "override" בלי לקרוא מה כתוב בהתרעה.
כשכל דבר הוא אזעקה, שום דבר אינו אזעקה.
תוקפה במקום שבו נבנתה
רוב מחקרי התיקוף של AI קליני בודקים את המערכת על נתונים מהמוסד שפיתח אותה. הסיבות מעשיות: המפתחים מחזיקים בנתונים, מכירים את הרגלי התיעוד במוסד, ותיקוף פנימי מהיר וזול יותר. אבל כך נוצרת הטיה שיטתית שמנפחת את הביצועים המדווחים.
בתי חולים נבדלים זה מזה בדרכים שמשפיעות עמוקות על ביצועי האלגוריתם. הרגלי התיעוד שונים: יש מוסדות שמתעדים סימנים חיוניים מדי שעה, ויש שמתעדים כל ארבע שעות. גם דפוסי הזמנת בדיקות המעבדה שונים, ותצורות ה-EHR אינן אחידות. מודל שאומן ונבדק על נתונים ממוסד אחד לומד, לצד האותות הקליניים האמיתיים, גם את כל הארטיפקטים המקומיים. תיקוף פנימי לוכד את שניהם; רק תיקוף חיצוני מגלה אילו אותות אמיתיים.
הדוגמה המאלפת ביותר היא מודל חיזוי הספסיס של Epic. בתיקוף פנימי הוא הפגין יכולת הבחנה גבוהה. כשחוקרים באוניברסיטת מישיגן בחנו אותו באופן עצמאי על המטופלים שלהם, ה-AUROC צנח ל-0.63, מעט יותר מהטלת מטבע. המחקר, שפרסמו Wong et al. ב-JAMA Internal Medicine ב-2021, מצא שהמודל החמיץ שני שלישים ממקרי הספסיס והציף את הצוותים בהתרעות שווא, עד שאמון הקלינאים בו התפוגג במהירות.
סקירה שיטתית ב-Korean Journal of Radiology בדקה 516 מחקרים שפורסמו על AI בהדמיה אבחונית, ומצאה שרק 6% מהם בחנו את האלגוריתם על מאגר נתונים חיצוני ועצמאי. בתי חולים שמחליטים על רכש לפי 94% הנותרים קונים, במובן של ממש, הבטחות ביצועים שאיש לא אימת.
גם מספרים נכונים יכולים להטעות
חברה יכולה לדווח מספרים מדויקים לגמרי ובכל זאת לצייר תמונה מטעה. לא מדובר בהונאה, אלא באופן ההצגה.
דיווח בררני על תת-קבוצות: מערכת עם AUROC כולל של 0.82 עשויה להגיע ל-0.91 אצל מטופלים מעל גיל 65 עם שלוש מחלות רקע לפחות. החברה מדווחת על 0.91 ב"אוכלוסיית הסיכון הגבוה". מבחינה טכנית הדיווח מדויק, אבל הוא יוצר רושם של ביצועים טובים מאלה שהמערכת מספקת לכלל המטופלים.
רגישות וסגוליות בלי PPV: חברה שמציינת "רגישות של 92% וסגוליות של 88%" מציגה נתונים נכונים שנשמעים מרשימים. חברה שמציינת "PPV של 28% בשכיחות של 4%" מתארת את אותה מערכת בדיוק. באיזה מהם הייתם פותחים מצגת מכירה?
דוח תיקוף אחראי מציג את הביצועים בסף שמשמש בפועל בהטמעה, ולא רק על פני כל הספים האפשריים. הוא מראה איך המערכת מתפקדת בבתי חולים מסוגים שונים ובאוכלוסיות מטופלים שונות, ולא רק כמספר מאוחד אחד. והוא מציין אם התיקוף היה פנימי או חיצוני. רוב הדוחות לא עושים זאת.
איך לבחון AI קליני לפני שמאמצים אותו
מערכות בריאות ששוקלות AI קליני מקבלות בדרך כלל מצגת עם מספר ביצועים יחיד. לרוב זה AUROC, מדד שרוב הקלינאים ומנהלי בתי החולים מעולם לא למדו לפרש. הוא מודד עד כמה המערכת מדרגת מטופלים לפי סיכון, לא עד כמה היא צודקת כשהיא מתריעה. AUROC גבוה אינו מבטיח שהמערכת תעבוד היטב בבית החולים שלכם, עם המטופלים שלכם, בסף שתבחרו.
אלה השאלות החשובות יותר. האם המערכת נבדקה בבתי חולים שלא השתתפו בפיתוחה? אם היא תוקפה רק באופן פנימי, ייתכן שהביצועים לא יחזיקו אצלכם. בתי חולים מתעדים אחרת, מזמינים בדיקות בתדירות אחרת ומטפלים באוכלוסיות אחרות. מערכת שעובדת בבית החולים שבו נבנתה עדיין לא הוכיחה הרבה לגבי כל מקום אחר.
כמה התרעות שווא יקבלו האחיות שלכם בכל משמרת? אם המערכת מפיקה 20 התרעות למחלקה ו-15 מהן שגויות, הצוות ילמד להתעלם מכולן בתוך שבועות. בקשו את שיעור החיוביים הכוזבים בסף שהמערכת משתמשת בו בפועל, ולא את התרחיש האופטימלי מהמאמר.
כמה מוקדם היא מזהה בעיות בפועל? מערכת שמזהה הידרדרות 2 שעות לפני המשבר מועילה במידה מסוימת. מערכת שמזהה אותה יממה ויותר מראש מאפשרת לצוות מגוון התערבויות אחר לגמרי. בקשו את חציון ה-lead time מהטמעות אמיתיות, ולא מניתוח רטרוספקטיבי.
האם הקלינאים שלכם יכולים לראות למה המערכת סימנה מטופל? אם לא, האימוץ יהיה נמוך, יהיה הדיוק אשר יהיה. רופאים מאומנים לשקול ראיות, לא לפעול לפי ציון שאיש לא הסביר.
כיול, lead time, והמדדים שאיש אינו מדווח
קהילת ה-ML עשתה אופטימיזציה בלתי פוסקת למדדי הבחנה. AUROC ו-AUPRC עונים על שאלה אחת: האם המערכת מבחינה בין מקרים חיוביים לשליליים? להטמעה קלינית זה תנאי הכרחי, אבל לא מספיק.
כיול בודק אם ההסתברויות שהמערכת חוזה אמינות במונחים מוחלטים. אם מערכת מכוילת היטב מייחסת לקבוצת מטופלים סיכון של 30% לספסיס, בערך 30% מהם אמורים לפתח ספסיס בפועל. כיול גרוע פירושו שאי אפשר לקבל את המספרים כפשוטם, וקלינאי שמתלבט בין המתנה ומעקב לבין התערבות אגרסיבית חייב לדעת אם "סיכון של 70%" אכן אומר 70%. מעריכים כיול בעקומות כיול, בציוני Brier ובמבחן Hosmer-Lemeshow. בפרסומים על AI קליני הוא מדווח לעיתים רחוקות, והיעדרו צריך להדליק נורה אדומה.
ה-lead time מודד כמה מוקדם המערכת מזהה מצבים בהשוואה לגישות המקובלות. כשמערכת מבטיחה "התרעה מוקדמת", השאלה איננה רק אם היא מזהה הידרדרות, אלא בכמה זמן היא מקדימה את ההערכה הקלינית הרגילה. מערכת עם AUROC נמוך יותר שמקדימה ב-20 שעות עשויה להציל יותר חיים ממערכת עם AUROC גבוה יותר שכמעט אינה מקדימה דבר.
אנחנו מציבים לעצמנו את אותם סטנדרטים. התיקוף שלנו, כולל כיול ו-lead time, יפורסם כשיושלם.
מקורות: הערכת מודל הספסיס של Epic היא Wong et al., JAMA Internal Medicine, 2021. נתון השכיחות של תיקוף חיצוני לקוח מ-Kim et al., Korean Journal of Radiology, 2019.