臨床AIの検証研究の多くが誤解を招く理由

AUROC：誰もが報告し、ほとんど誰も理解していない数字

臨床AI企業が検証結果を公表するとき、見出しに来る指標はほぼ決まってAUROC、すなわち受信者動作特性曲線下面積である。AUROC 0.95と聞けば、際立って優秀に思える。実際この数字は、システムが「機能する」証拠として、投資家向け資料にも、プレスリリースにも、学会発表にも当たり前のように登場する。病院の管理者も投資家も、ときには臨床医でさえ、0.95を見て、このシステムは対象となる病態を95%の確率で正しく見分けるのだと受け取ってしまう。

その解釈は誤りである。

AUROCが測るのは識別能、つまり無作為に選んだ陽性例を、無作為に選んだ陰性例より上位に順位づけられる能力だ。しかも、考えうるすべての判定閾値をならした要約であり、その閾値の大半は実際の運用では使われない。他の条件が同じなら、AUROC 0.95のシステムは0.80のものより順位づけがうまい。だがAUROCは、病院が実際に採用する特定の閾値で何が起きるかについては何も語らない。その病院が実際に診ている患者集団でどう働くかについても、何も語らない。

ベッドサイドで見る0.95

AUROC 0.95、感度85%、特異度90%の敗血症検出システムを考えてみよう。論文のなかでは頼もしい数字だ。では、敗血症の有病率が5%の実際のICUに置いてみる。

スクリーニングを受ける患者1,000人のうち、敗血症は50人、そうでない人は950人である。システムは敗血症の50人のうち42.5人を正しく拾い、敗血症でない950人のうち855人を正しく除外する。だが同時に、その950人から95件の誤アラームを出す。陽性的中率（PPV）、つまりフラグが立った患者が本当に敗血症である確率は、42.5 / (42.5 + 95) = 30.9%になる。

このシステムを使う臨床医は、本物のアラーム一件につき、おおよそ二件の誤アラームに付き合うことになる。忙しいICUで、アラートを出すたびに70%の確率で外れるシステムは、数週間もすれば雑音として扱われるようになる。AUROC 0.95は嘘ではない。だがその数字は、誰かが実際にそのシステムを使うかどうかを決める偽陽性の負担を覆い隠してしまう。

私はこの構図を、AIの仕事に就くずっと前、臨床研修のさなかに目の当たりにしていた。電子カルテのアラート疲れはすでに深刻で、医師たちはアラートの文面を読まずに「オーバーライド」をクリックする動作を、指が覚えてしまっていた。

すべてがアラームなら、どれもアラームではない。

作られた場所でしか検証されていない

臨床AIの検証研究の多くは、システムを開発したのと同じ施設のデータで検証を行っている。理由は現実的なものだ。開発者は自分たちのデータにアクセスでき、その記録の癖を理解しており、内部検証のほうが速く安く済む。だがそこには系統的な偏りが生じ、報告される性能を押し上げてしまう。

病院どうしの違いは、アルゴリズムの性能を大きく左右する。記録の慣行はまちまちで、バイタルサインを一時間ごとに記録する施設もあれば、四時間ごとの施設もある。検査のオーダーの仕方も違う。電子カルテの設定も標準化されていない。一つの施設のデータで学習し検証したモデルは、本物の臨床的な信号と一緒に、こうした施設固有の癖まで覚えてしまう。内部検証は、その両方を拾う。どの信号が本物かを明らかにするのは、外部検証である。

もっとも示唆に富む例は、Epic の敗血症予測モデルだ。内部で学習し検証した段階では、高い識別能を示していた。ところが University of Michigan の研究者たちが自院の患者で同じモデルを独自に評価すると、AUROCは0.63まで下がった。偶然をかろうじて上回る程度である。Wong et al. が2021年に JAMA Internal Medicine に発表したこの研究によれば、モデルは敗血症の三分の二を見逃し、誤アラートをあまりに多く出したため、臨床医の信頼は急速に失われた。

Korean Journal of Radiology に掲載されたシステマティックレビューは、画像診断AIに関する516本の研究を調べ、独立した外部データセットでアルゴリズムを検証していたのはわずか6%だったと報告している。残りの94%を根拠に購入を決める病院は、実質的には、検証されていない性能の主張を買っていることになる。

正直な数字でも、人を誤らせる

企業は、すべて正確な数字を報告しながら、誤解を招く像を描くことができる。不正の話ではない。見せ方の話である。

都合のよいサブグループだけを報告する。全体のAUROCが0.82のシステムでも、併存疾患を三つ以上もつ65歳超の患者に限れば0.91に達するかもしれない。企業は「高リスク集団」の数字として0.91を報告する。厳密には正しいが、全患者集団で実際に出せる性能よりよく見える。

PPVを示さずに感度と特異度だけを報告する。「感度92%、特異度88%」と言う企業は、印象的に聞こえる正しい数字を述べている。「有病率4%でPPV 28%」と言う企業も、同じシステムを説明している。営業のプレゼンテーションで、あなたならどちらの数字を先に出すだろうか。

責任ある検証報告は、考えうるすべての閾値をならした数字だけでなく、実際の運用で使う閾値での性能を示す。一つにまとめた数字だけでなく、病院の種類や患者集団ごとにどう働くかを示す。そして、検証が内部か外部かを明らかにする。たいていの報告は、そうなっていない。

導入の前に、臨床AIをどう評価するか

臨床AIを検討している医療機関の多くが見せられるのは、性能の数字が一つだけ載ったスライドだ。その数字はたいていAUROCで、臨床医も病院の管理者も、ほとんどはその読み方を教わったことがない。AUROCが測るのは、システムが患者をリスク順にどれだけうまく並べられるかであって、実際にアラートを出したときにどれだけ当たるかではない。AUROCが高いからといって、あなたの病院で、あなたの患者に、あなたが使う閾値で、うまく働くとは限らない。

もっと大事なことがある。そのシステムは、開発に関わっていない病院で検証されたのか。内部でしか検証されていないなら、あなたの施設で同じ性能が出るとは限らない。病院ごとに記録の仕方も、検査を出す頻度も、診ている患者層も違う。開発された病院でうまくいったという事実は、他のどこでうまくいくかについて、ほとんど何も証明していない。

看護師は一勤務あたり何件の誤アラームに付き合うことになるのか。一つの病棟で20件のアラートが出て、そのうち15件が外れなら、スタッフは数週間のうちにすべてを無視するようになる。検証論文に載った理論上の最善値ではなく、システムが実際に使う閾値での偽陽性率を尋ねるべきだ。

実際にはどれだけ早く問題を見つけるのか。危機の2時間前に悪化を捉えるシステムにも、それなりの価値はある。だが一日以上前に捉えるシステムなら、チームはまったく別の手を打つ時間を得る。後ろ向き解析ではなく、実際の運用で得られたリードタイムの中央値を尋ねるべきだ。

システムがなぜその患者にフラグを立てたのか、臨床医には見えるのか。答えがノーなら、精度がどうであれ、利用は広がらない。医師は根拠を吟味するよう訓練されているのであって、説明のないスコアに従って動くようには訓練されていない。

キャリブレーション、リードタイム、誰も報告しない指標

機械学習の世界は、識別能の指標をひたすら最適化してきた。AUROCやAUPRCが答えるのは、システムが陽性例と陰性例を分けられるかという問いである。臨床で運用するには、それは必要条件ではあっても十分ではない。

キャリブレーションは、予測された確率が絶対値として信頼できるかを測る。よくキャリブレーションされたシステムが敗血症リスク30%とした群では、実際におおよそ30%が敗血症になるはずだ。キャリブレーションが悪ければ、数字を額面どおりに受け取ることはできない。経過観察か積極的な介入かを決めようとしている臨床医には、「リスク70%」が本当に70%を意味するのかを知る必要がある。キャリブレーションは、キャリブレーション曲線、Brierスコア、Hosmer-Lemeshow 統計量で評価できる。それでも臨床AIの論文で報告されることはまれだ。その欠落は、警告のサインとして受け止めるべきである。

リードタイムは、従来の方法と比べて、システムがどれだけ早く病態を見つけるかを測る。「早期警告」をうたうシステムにとって問うべきなのは、悪化を見つけられるかだけではない。標準的な臨床評価と比べて、どれだけ早く見つけるかである。AUROCは低くてもリードタイムが20時間長いシステムのほうが、AUROCは高くても早期発見の利点がほとんどないシステムより、多くの命を救うかもしれない。

私たちも、自らを同じ基準で律している。キャリブレーションとリードタイムを含む私たち自身の検証結果は、完了した時点で公表する。