Чому більшість досліджень з валідації клінічного ШІ вводять в оману

AUROC: показник, який наводять усі і майже ніхто не розуміє

Коли компанія, що розробляє клінічний ШІ, публікує результати валідації, головною метрикою майже завжди виявляється AUROC, площа під ROC-кривою (Area Under the Receiver Operating Characteristic curve). AUROC 0,95 звучить як винятковий результат, і саме ця цифра раз у раз з’являється в презентаціях для інвесторів, пресрелізах і доповідях на конференціях як доказ того, що система «працює». Адміністратори лікарень, інвестори і навіть деякі лікарі бачать 0,95 і доходять висновку, що система правильно розпізнає цільовий стан у 95% випадків.

Такий висновок хибний.

AUROC вимірює дискримінацію, тобто здатність системи поставити випадково взятий позитивний випадок вище за випадково взятий негативний. Показник підсумовує роботу системи за всіх можливих порогів класифікації, більшість із яких на практиці ніколи не застосовуватимуть. За інших рівних умов система з AUROC 0,95 ранжує пацієнтів краще, ніж система з 0,80. Але AUROC нічого не каже ні про те, як вона поводитиметься на конкретному робочому порозі, який лікарня справді обере, ні про те, як вона працюватиме з тими пацієнтами, яких ця лікарня справді лікує.

Як 0,95 виглядає біля ліжка хворого

Візьмімо систему виявлення сепсису з AUROC 0,95, чутливістю 85% і специфічністю 90%. У статті такі цифри виглядають переконливо. А тепер перенесімо їх у справжнє відділення інтенсивної терапії, де поширеність сепсису становить 5%.

На кожну 1000 обстежених пацієнтів сепсис мають 50, а 950 не мають. Система правильно виявляє 42,5 з 50 хворих на сепсис і правильно відкидає 855 з 950 тих, у кого його немає. Але серед цих 950 вона ж дає 95 хибних тривог. Прогностична цінність позитивного результату (PPV), тобто ймовірність того, що позначений пацієнт справді має сепсис, становить 42,5 / (42,5 + 95) = 30,9%.

Лікар, який працює з такою системою, бачитиме приблизно дві хибні тривоги на кожну справжню. У завантаженому ВІТ систему, що помиляється в 70% випадків, коли подає сигнал, за кілька тижнів почнуть сприймати як фоновий шум. AUROC 0,95 цілком реальний, але він затуляє тягар хибнопозитивних спрацювань, а саме від нього залежить, чи хтось узагалі користуватиметься системою.

Я бачив, як усе це відбувається, ще під час клінічного навчання, задовго до того, як узявся за ШІ. «Втома від сповіщень» в електронній медичній картці вже тоді була такою, що в лікарів виробилася м’язова пам’ять: натискати «override», не читаючи тексту.

Коли тривожить усе, не тривожить ніщо.

Перевірено там, де створено

Більшість досліджень з валідації клінічного ШІ перевіряють систему на даних тієї самої установи, де її розробили. Причини практичні: розробники мають доступ до власних даних, розуміють, як у них ведуть документацію, а внутрішня валідація швидша й дешевша. Проте саме так виникає систематичне зміщення, яке завищує заявлені результати.

Лікарні різняться настільки, що це глибоко позначається на роботі алгоритмів. Документацію ведуть по-різному: в одних закладах вітальні показники записують щогодини, в інших раз на чотири години. Аналізи призначають по-різному. Налаштування електронних карток не стандартизовані. Модель, яку навчили й перевірили на даних однієї установи, засвоює разом зі справжніми клінічними сигналами всі ці місцеві особливості. У внутрішній валідації проявляється і те, і те. Лише зовнішня показує, які сигнали справжні.

Найповчальніший приклад дала модель прогнозування сепсису від Epic. Навчена й перевірена на внутрішніх даних, вона демонструвала високу дискримінацію. Та коли дослідники з University of Michigan незалежно оцінили ту саму модель на своїх пацієнтах, AUROC упав до 0,63, ледь вище за випадкове вгадування. У дослідженні Wong et al., опублікованому в JAMA Internal Medicine 2021 року, показано, що модель пропускала дві третини випадків сепсису й давала стільки хибних сповіщень, що лікарі швидко перестали їй довіряти.

Систематичний огляд у Korean Journal of Radiology охопив 516 опублікованих досліджень ШІ для променевої діагностики і виявив, що лише в 6% алгоритм перевіряли на незалежному зовнішньому наборі даних. Лікарні, які вирішують, що купувати, на підставі решти 94%, по суті купують неперевірені обіцянки.

Чесні цифри теж можуть вводити в оману

Компанія може навести абсолютно точні цифри й усе одно намалювати оманливу картину. Ідеться не про шахрайство, а про подачу.

Вибіркові підгрупи. Система із загальним AUROC 0,82 може досягати 0,91 у пацієнтів, старших за 65 років, із трьома й більше супутніми захворюваннями. Компанія наводить 0,91 для «групи високого ризику»: формально все правильно, але складається враження, ніби система працює краще, ніж вона працює на всіх пацієнтах.

Чутливість і специфічність без PPV. Компанія, яка заявляє «чутливість 92% і специфічність 88%», називає правдиві й вражаючі цифри. Компанія, яка заявляє «PPV 28% за поширеності 4%», описує ту саму систему. З якої цифри ви почали б презентацію для покупця?

Сумлінний звіт про валідацію показує результати на тому порозі, який справді застосовуватимуть, а не лише за всіма можливими порогами. Він показує, як система працює в лікарнях різного типу й на різних групах пацієнтів, а не зводить усе до однієї усередненої цифри. І він чесно вказує, якою була валідація, внутрішньою чи зовнішньою. Більшість звітів нічого з цього не роблять.

Як оцінити клінічний ШІ до впровадження

Здебільшого керівникам лікарень, які розглядають клінічний ШІ, показують презентацію з однією цифрою ефективності. Найчастіше це AUROC, метрика, якої більшість лікарів і адміністраторів ніколи не вчили тлумачити. Вона показує, наскільки добре система ранжує пацієнтів за ризиком, але не наскільки вона точна, коли справді подає сигнал. Високий AUROC не гарантує, що система добре працюватиме у вашій лікарні, з вашими пацієнтами, на вашому порозі.

Важливіше інше. Чи перевіряли систему в лікарнях, які не брали участі в її створенні? Якщо валідація була тільки внутрішньою, у вашому закладі результати можуть не підтвердитися. Різні лікарні по-різному ведуть документацію, з різною частотою призначають аналізи й лікують різних пацієнтів. Те, що система працює там, де її створили, мало що доводить про те, де ще вона працюватиме.

Скільки хибних тривог бачитимуть ваші медсестри за зміну? Якщо система дає 20 сповіщень на відділення і 15 із них хибні, за кілька тижнів персонал навчиться ігнорувати всі. Питайте про частку хибнопозитивних результатів на тому порозі, який система справді використовує, а не про теоретично найкращий випадок із валідаційної статті.

Наскільки рано система насправді помічає проблему? Якщо вона виявляє погіршення за 2 години до кризи, певна користь від неї є. Якщо за добу чи раніше, ваша команда отримує час на зовсім інші втручання. Питайте про медіану часу випередження в реальній роботі, а не в ретроспективному аналізі.

Чи бачать ваші лікарі, чому система позначила пацієнта? Якщо ні, користуватимуться нею мало, хоч би якою точною вона була. Лікарів учать оцінювати докази, а не діяти за бали, яких ніхто не пояснив.

Калібрування, час випередження і метрики, про які мовчать

Спільнота машинного навчання вперто оптимізує метрики дискримінації. AUROC і AUPRC відповідають на питання, чи здатна система відокремити позитивні випадки від негативних. Для клінічного застосування це потрібно, але не досить.

Калібрування показує, чи можна вірити передбаченим імовірностям в абсолютному вимірі. Якщо добре відкалібрована система оцінює ризик сепсису в певній групі у 30%, сепсис має розвинутися приблизно у 30% цієї групи. За поганого калібрування числам не можна вірити на слово, а лікарю, який вибирає між вичікувальною тактикою й агресивним втручанням, треба знати, чи «ризик 70%» справді означає 70%. Калібрування оцінюють за калібрувальними кривими, показником Брієра і тестом Хосмера–Лемешова. У публікаціях про клінічний ШІ про нього пишуть рідко. І саму цю відсутність варто сприймати як тривожний знак.

Час випередження показує, наскільки раніше за звичні підходи система виявляє стан. Якщо система обіцяє «раннє попередження», питати треба не лише про те, чи вона розпізнає погіршення, а й про те, на скільки раніше за стандартну клінічну оцінку. Система з нижчим AUROC, але з часом випередження на 20 годин більшим, може врятувати більше життів, ніж система з вищим AUROC і майже без переваги в ранньому виявленні.

До себе ми застосовуємо ті самі мірки. Нашу власну валідацію, зокрема калібрування і час випередження, ми оприлюднимо, щойно її завершимо.