Почему большинство исследований валидации клинического ИИ вводят в заблуждение

AUROC: число, которое приводят все и почти никто не понимает

Когда компания, разрабатывающая клинический ИИ, публикует результаты валидации, главной метрикой почти всегда оказывается AUROC, площадь под ROC-кривой. AUROC 0,95 звучит блестяще, и это число постоянно кочует по презентациям для инвесторов, пресс-релизам и докладам на конференциях как доказательство того, что система «работает». Руководители больниц, инвесторы и даже некоторые клиницисты видят 0,95 и заключают, что система верно распознаёт целевое состояние в 95% случаев.

Это неверное толкование.

AUROC измеряет дискриминацию: способность системы поставить случайно выбранный положительный случай выше случайно выбранного отрицательного. Это сводная величина по всем возможным порогам классификации, и большинство из них на практике никогда не используется. При прочих равных система с AUROC 0,95 ранжирует лучше, чем система с 0,80. Но AUROC ничего не говорит о том, что происходит на том конкретном рабочем пороге, который больница действительно применит, и ничего о том, как система поведёт себя среди пациентов, которых эта больница на самом деле лечит.

Как 0,95 выглядит у постели больного

Возьмём систему распознавания сепсиса с AUROC 0,95, чувствительностью 85% и специфичностью 90%. В статье такие цифры смотрятся солидно. Теперь поместим её в настоящее отделение интенсивной терапии, где распространённость сепсиса 5%.

На каждые 1000 обследованных пациентов приходится 50 с сепсисом и 950 без него. Система верно распознаёт 42,5 из 50 пациентов с сепсисом. Верно отводит подозрение у 855 из 950 пациентов без сепсиса. Но среди тех же 950 она даёт и 95 ложных тревог. Прогностическая ценность положительного результата (PPV), то есть вероятность того, что у отмеченного пациента действительно сепсис, составляет 42,5 / (42,5 + 95) = 30,9%.

Клиницист, работающий с такой системой, на каждую настоящую тревогу будет получать примерно две ложные. В загруженном отделении интенсивной терапии систему, которая ошибается в 70% случаев, когда подаёт сигнал, через несколько недель начнут воспринимать как шум. AUROC 0,95 вполне реален, но он заслоняет бремя ложноположительных срабатываний, а именно от него зависит, будет ли кто-нибудь этой системой пользоваться.

Я видел, как это происходит, ещё в годы клинической подготовки, задолго до того, как занялся ИИ. Усталость от оповещений электронной карты уже тогда была такой, что у врачей выработалась мышечная память: нажимать «override», не читая текста оповещения.

Когда тревожит всё, не тревожит ничто.

Проверено там же, где создано

Большинство исследований валидации клинического ИИ проверяет систему на данных того самого учреждения, где её разработали. Причины практические: у разработчиков есть доступ к собственным данным, они понимают, как там принято документировать, а внутренняя валидация быстрее и дешевле. Но так возникает систематическое смещение, которое завышает заявленные результаты.

Между больницами есть различия, которые глубоко влияют на работу алгоритмов. Практика документирования разная: где-то показатели жизненно важных функций записывают каждый час, где-то раз в четыре часа. По-разному назначают анализы. Электронные карты настроены по-разному. Когда модель обучают и проверяют на данных одного учреждения, она усваивает закономерности, в которых настоящие клинические сигналы перемешаны со всеми местными артефактами. Внутренняя валидация улавливает и то и другое. Внешняя показывает, какие сигналы настоящие.

Самый поучительный пример — модель прогнозирования сепсиса от Epic. На внутренних данных, где её обучали и проверяли, она показывала высокую дискриминацию. Когда исследователи из University of Michigan независимо оценили ту же модель на своих пациентах, AUROC упал до 0,63, едва лучше случайного угадывания. Исследование, опубликованное Wong et al. в JAMA Internal Medicine в 2021 году, показало, что модель пропускала две трети случаев сепсиса и давала столько ложных тревог, что доверие клиницистов к ней быстро таяло.

Систематический обзор в Korean Journal of Radiology охватил 516 опубликованных исследований ИИ в лучевой диагностике и обнаружил, что лишь в 6% из них алгоритм проверяли на независимом внешнем наборе данных. Больницы, которые принимают решения о закупке на основании остальных 94%, по сути покупают непроверенные заявления о точности.

Честные цифры тоже могут вводить в заблуждение

Компания может приводить совершенно точные цифры и всё равно создавать ложное впечатление. Дело не в мошенничестве. Дело в подаче.

Выборочные данные по подгруппам. Система с общим AUROC 0,82 может достигать 0,91 у пациентов старше 65 лет с тремя и более сопутствующими заболеваниями. Компания приводит 0,91 для «группы высокого риска»: формально это правда, но создаётся впечатление, будто система работает лучше, чем она работает на всей популяции пациентов.

Чувствительность и специфичность без PPV. Компания, которая говорит «чувствительность 92%, специфичность 88%», называет правдивые и впечатляющие цифры. Компания, которая говорит «PPV 28% при распространённости 4%», описывает ту же самую систему. С какой цифры вы начали бы презентацию для продаж?

Добросовестный отчёт о валидации показывает работу системы на том пороге, который действительно используется при внедрении, а не только по всем возможным порогам. Показывает, как система работает в больницах разного типа и в разных группах пациентов, а не одно усреднённое число. И сообщает, была валидация внутренней или внешней. Большинство отчётов этого не делает.

Как оценивать клинический ИИ до внедрения

Большинству больничных сетей, которые присматриваются к клиническому ИИ, показывают презентацию с единственной цифрой. Чаще всего это AUROC — метрика, которую большинство клиницистов и руководителей больниц толковать никогда не учили. Она измеряет, насколько хорошо система ранжирует пациентов по риску, а не насколько она точна, когда действительно подаёт сигнал. Высокий AUROC не означает, что система будет хорошо работать в вашей больнице, с вашими пациентами, на том пороге, который вы будете использовать.

Важнее другое. Проверяли ли систему в больницах, которые не участвовали в её создании? Если валидация была только внутренней, в вашем учреждении результаты могут не подтвердиться. Разные больницы по-разному ведут документацию, с разной частотой назначают анализы и лечат разных пациентов. Система, которая работает в больнице, где её создали, почти ничего не доказала о том, где ещё она будет работать.

Сколько ложных тревог будут видеть ваши медсёстры за смену? Если система даёт 20 оповещений на отделение и 15 из них ошибочны, через несколько недель персонал научится игнорировать их все. Спрашивайте частоту ложноположительных срабатываний на том пороге, который система реально использует, а не теоретически лучший случай из статьи о валидации.

Насколько рано система на самом деле замечает проблемы? Система, которая замечает ухудшение за 2 часа до кризиса, приносит некоторую пользу. Система, которая замечает его за сутки и раньше, даёт вашей команде время на совсем другие вмешательства. Спрашивайте медианное время опережения по реальным внедрениям, а не по ретроспективному анализу.

Видят ли ваши клиницисты, почему система отметила пациента? Если нет, пользоваться ею будут мало, какой бы точной она ни была. Врачей учат оценивать доказательства, а не действовать по необъяснённым баллам.

Калибровка, время опережения и метрики, о которых молчат

Сообщество машинного обучения неутомимо оптимизирует метрики дискриминации. AUROC и AUPRC отвечают на вопрос, способна ли система отделить положительные случаи от отрицательных. Для клинического внедрения это необходимо, но недостаточно.

Калибровка показывает, можно ли доверять предсказанным вероятностям в абсолютном смысле. Если хорошо откалиброванная система присваивает группе пациентов риск сепсиса 30%, сепсис должен развиться примерно у 30% из них. Плохая калибровка означает, что числам нельзя верить буквально, а клиницисту, который выбирает между наблюдением и агрессивным вмешательством, нужно знать, действительно ли «риск 70%» означает 70%. Калибровку оценивают по калибровочным кривым, показателю Брайера и критерию Хосмера–Лемешоу. В публикациях о клиническом ИИ её приводят редко. Само это отсутствие стоит считать тревожным признаком.

Время опережения показывает, насколько раньше обычных подходов система распознаёт состояние. Для систем, которые обещают «раннее предупреждение», вопрос не только в том, могут ли они распознать ухудшение, но и в том, насколько раньше стандартной клинической оценки они это делают. Система с более низким AUROC, но с опережением на 20 часов больше, может спасти больше жизней, чем система с более высоким AUROC и почти без преимущества в раннем выявлении.

К себе мы применяем те же требования. Результаты нашей собственной валидации, включая калибровку и время опережения, будут опубликованы, когда она завершится.