임상 AI 검증 연구는 왜 대부분 오해를 낳는가

AUROC: 누구나 내세우지만 제대로 아는 사람은 드문 숫자

임상 AI 기업이 검증 결과를 발표할 때 앞세우는 지표는 거의 언제나 AUROC, 곧 ROC 곡선(수신자 조작 특성 곡선) 아래 면적이다. AUROC 0.95라면 대단해 보인다. 그래서 시스템이 ‘통한다’는 증거로 투자 유치 자료와 보도자료, 학회 발표에 단골로 등장한다. 병원 경영진도, 투자자도, 심지어 일부 임상의도 0.95를 보면 시스템이 대상 질환을 95% 확률로 정확히 찾아낸다고 받아들인다.

잘못된 해석이다.

AUROC가 재는 것은 판별력이다. 무작위로 고른 양성 사례를 무작위로 고른 음성 사례보다 위에 놓는 능력이다. 가능한 모든 분류 임계값을 통틀어 요약한 값이고, 그 임계값 대부분은 현장에서 쓰일 일이 없다. 다른 조건이 같다면 AUROC 0.95인 시스템이 0.80인 시스템보다 순위를 잘 매긴다. 하지만 병원이 실제로 적용할 그 임계값에서 어떤 일이 벌어지는지, 그 병원이 실제로 진료하는 환자들에게서 시스템이 어떻게 작동하는지에 대해 AUROC는 아무것도 알려 주지 않는다.

병상에서 본 0.95

AUROC 0.95, 민감도 85%, 특이도 90%인 패혈증 감지 시스템이 있다고 하자. 논문에서는 탄탄해 보이는 숫자다. 이제 이 시스템을 패혈증 유병률이 5%인 실제 ICU에 들여놓아 보자.

환자 1,000명을 선별하면 50명은 패혈증이고 950명은 아니다. 시스템은 패혈증 환자 50명 가운데 42.5명을 제대로 찾아낸다. 패혈증이 없는 950명 가운데 855명은 제대로 음성으로 가려낸다. 하지만 그 950명에게서 오경보도 95건 나온다. 양성예측도(PPV), 곧 경고가 뜬 환자가 실제로 패혈증일 확률은 42.5 / (42.5 + 95) = 30.9%다.

이 시스템을 쓰는 임상의는 진짜 경보 하나에 오경보를 대략 두 번 겪는다. 바쁜 ICU에서 경보가 울릴 때마다 70%가 틀리는 시스템은 몇 주 안에 소음 취급을 받는다. AUROC 0.95는 거짓이 아니다. 다만 그 숫자는 사람들이 실제로 시스템을 쓸지 말지를 가르는 위양성의 부담을 가려 버린다.

AI 일을 하기 한참 전, 임상 수련 시절에 나는 이런 일이 벌어지는 것을 직접 봤다. EHR 경보 피로가 이미 심각해서, 의사들은 경고 문구를 읽지도 않고 ‘무시(override)’를 누르는 게 손에 배어 있었다.

모든 것이 경보라면, 어느 것도 경보가 아니다.

만든 곳에서 검증했다

임상 AI 검증 연구는 대부분 시스템을 개발한 바로 그 기관의 데이터로 시험한다. 이유는 현실적이다. 개발진은 자기 기관의 데이터를 쓸 수 있고, 그곳의 기록 습관을 잘 알며, 내부 검증이 더 빠르고 싸다. 하지만 바로 여기서 보고된 성능을 부풀리는 체계적 편향이 생긴다.

병원마다 알고리즘 성능을 크게 좌우하는 차이가 있다. 기록 관행부터 다르다. 활력징후를 매시간 적는 곳이 있고 네 시간마다 적는 곳이 있다. 검사를 내는 습관이 다르고, EHR 설정도 제각각이다. 한 기관의 데이터로만 학습하고 시험한 모델은 진짜 임상 신호와 함께 그 기관만의 특이한 흔적까지 패턴으로 익힌다. 내부 검증에는 둘이 뒤섞여 잡힌다. 어느 신호가 진짜인지는 외부 검증에서 드러난다.

가장 시사하는 바가 큰 사례는 Epic의 패혈증 예측 모델이다. 내부에서 학습하고 검증했을 때는 판별력이 높았다. 그런데 University of Michigan 연구진이 자기 병원 환자를 대상으로 같은 모델을 독립적으로 평가하자 AUROC는 0.63으로 떨어졌다. 동전 던지기보다 겨우 나은 수준이다. 2021년 JAMA Internal Medicine에 실린 Wong et al.의 이 연구에서, 모델은 패혈증 사례의 3분의 2를 놓쳤고, 오경보를 너무 많이 내서 임상의의 신뢰가 순식간에 무너졌다.

Korean Journal of Radiology에 실린 한 체계적 문헌고찰은 영상 진단 AI 연구 516편을 살폈는데, 독립된 외부 데이터셋으로 알고리즘을 시험한 연구는 6%뿐이었다. 나머지 94%를 믿고 구매를 결정하는 병원은 사실상 검증되지 않은 성능 주장을 사는 셈이다.

정직한 숫자로도 오해를 만들 수 있다

기업은 하나도 틀리지 않은 숫자만 내놓고도 그릇된 인상을 만들 수 있다. 사기 이야기가 아니다. 어떻게 보여 주느냐의 문제다.

하위군만 골라 보고하기. 전체 AUROC가 0.82인 시스템이 동반질환이 셋 이상인 65세 이상 환자에서는 0.91까지 나올 수 있다. 기업은 ‘고위험군’ 성적이라며 0.91을 내세운다. 엄밀히 따지면 틀린 말은 아니지만, 전체 환자에서 실제로 내는 것보다 성능이 좋다는 인상을 준다.

PPV는 빼고 민감도와 특이도만 말하기. “민감도 92%, 특이도 88%”라고 하는 기업은 참이면서도 인상적인 숫자를 말하고 있다. “유병률 4%에서 PPV 28%”라고 하는 기업도 같은 시스템을 설명하고 있다. 영업 자리에서라면 어느 숫자를 먼저 꺼내겠는가?

책임 있는 검증 보고서라면 가능한 모든 임계값을 통틀어 본 성능에 그치지 않고, 실제 배포에서 쓰는 임계값에서의 성능을 보여 준다. 하나로 뭉뚱그린 숫자가 아니라 병원 유형과 환자군에 따라 성능이 어떻게 달라지는지 보여 준다. 그리고 검증이 내부였는지 외부였는지 밝힌다. 대부분은 그러지 않는다.

도입 전에 임상 AI를 평가하는 법

임상 AI 도입을 검토하는 의료기관은 대개 성능 수치 하나가 적힌 슬라이드를 받아 든다. 그 숫자는 보통 AUROC다. 임상의와 병원 경영진 대부분이 해석하는 법을 배운 적 없는 지표다. AUROC는 시스템이 위험도에 따라 환자를 얼마나 잘 줄 세우는지를 잴 뿐, 실제로 경고가 떴을 때 그 경고가 얼마나 맞는지를 재지 않는다. AUROC가 높다고 해서 우리 병원에서, 우리 환자에게, 우리가 쓸 임계값에서 잘 작동한다는 뜻은 아니다.

더 중요한 질문은 따로 있다. 개발에 참여하지 않은 병원에서도 시험했는가? 내부 검증만 거쳤다면 우리 기관에서는 그 성능이 나오지 않을 수 있다. 병원마다 기록하는 방식, 검사를 내는 빈도, 진료하는 환자군이 다르다. 만든 병원에서 잘 돌아간다는 사실은 다른 병원에서도 잘 돌아갈지에 대해 거의 아무것도 증명하지 못한다.

간호사가 한 근무조에 오경보를 몇 번이나 보게 되는가? 병동 하나에 경보가 20건 뜨고 그중 15건이 틀린다면, 직원들은 몇 주 안에 경보를 전부 무시하게 된다. 검증 논문에 나온 이론상 최선의 값이 아니라, 시스템이 실제로 쓰는 임계값에서의 위양성률을 요구해야 한다.

실제로 얼마나 일찍 문제를 잡아내는가? 위기 2시간 전에 악화를 알아채는 시스템도 어느 정도 쓸모는 있다. 하루 이상 앞서 알아채는 시스템이라면 의료진이 완전히 다른 차원의 개입을 할 시간이 생긴다. 후향적 분석이 아니라 실제 배포 현장에서 측정한 리드 타임 중앙값을 요구해야 한다.

시스템이 왜 그 환자에게 경고를 띄웠는지 임상의가 볼 수 있는가? 볼 수 없다면 정확도가 어떻든 현장에 자리 잡기 어렵다. 의사는 근거를 평가하도록 훈련받았지, 설명 없는 점수를 보고 움직이도록 훈련받지 않았다.

보정, 리드 타임, 그리고 아무도 보고하지 않는 지표

ML 업계는 판별 지표를 끝없이 끌어올리는 데 매달려 왔다. AUROC와 AUPRC가 답하는 질문은 하나다. 시스템이 양성과 음성을 가를 수 있는가. 임상에 배포하려면 꼭 필요한 조건이지만, 그것만으로는 모자란다.

보정(calibration)은 예측 확률을 숫자 그대로 믿을 수 있는지를 잰다. 잘 보정된 시스템이 패혈증 위험 30%라고 판정한 환자들 가운데 실제로 대략 30%가 패혈증으로 진행해야 한다. 보정이 나쁘면 숫자를 액면 그대로 받아들일 수 없다. 경과를 지켜볼지 적극적으로 개입할지 정해야 하는 임상의는 “위험 70%”가 정말 70%인지 알아야 한다. 보정은 보정 곡선, Brier 점수, Hosmer-Lemeshow 통계량으로 평가할 수 있다. 그런데 임상 AI 논문에는 좀처럼 실리지 않는다. 보정 결과가 빠져 있다면 경고 신호로 봐야 한다.

리드 타임은 기존 방식보다 시스템이 질환을 얼마나 먼저 잡아내는지를 잰다. ‘조기 경보’를 내세우는 시스템이라면 물어야 할 것은 악화를 찾아낼 수 있느냐만이 아니다. 표준 임상 평가보다 얼마나 앞서 찾아내느냐다. AUROC는 낮아도 리드 타임이 20시간 더 긴 시스템이, AUROC는 높지만 조기 발견에서 거의 앞서지 못하는 시스템보다 더 많은 생명을 구할 수 있다.

우리도 같은 잣대를 스스로에게 들이댄다. 보정과 리드 타임을 포함한 우리 검증 결과는 마무리되는 대로 공개할 것이다.