Pourquoi la plupart des études de validation en IA clinique sont trompeuses

L'AUROC : le chiffre que tout le monde publie et que presque personne ne comprend

Quand une entreprise d'IA clinique publie ses résultats de validation, l'indicateur mis en avant est presque toujours l'AUROC, l'aire sous la courbe ROC (Receiver Operating Characteristic). Une AUROC de 0,95 a l'air exceptionnelle, et on la retrouve sans cesse dans les présentations aux investisseurs, les communiqués de presse et les conférences, comme preuve que le système « fonctionne ». Directeurs d'hôpitaux, investisseurs et même certains cliniciens voient 0,95 et en concluent que le système identifie correctement la pathologie visée dans 95 % des cas.

Cette lecture est fausse.

L'AUROC mesure la discrimination : la capacité du système à classer un cas positif tiré au hasard au-dessus d'un cas négatif tiré au hasard. C'est une synthèse sur tous les seuils de classification possibles, dont la plupart ne serviront jamais en pratique. Toutes choses égales par ailleurs, un système dont l'AUROC est de 0,95 classe mieux qu'un système à 0,80. Mais l'AUROC ne dit rien de ce qui se passe au seuil précis que l'hôpital utilisera réellement, ni des performances du système dans la population que cet hôpital soigne.

Ce que 0,95 donne au lit du patient

Prenons un système de détection du sepsis avec une AUROC de 0,95, une sensibilité de 85 % et une spécificité de 90 %. Sur le papier, ces chiffres sont solides. Plaçons-les maintenant dans un vrai service de réanimation, où la prévalence du sepsis est de 5 %.

Sur 1 000 patients dépistés, 50 ont un sepsis et 950 n'en ont pas. Le système identifie correctement 42,5 des 50 patients septiques. Il écarte à juste titre 855 des 950 patients indemnes. Mais il génère aussi 95 fausses alertes parmi ces 950 patients. La valeur prédictive positive, c'est-à-dire la probabilité qu'un patient signalé ait réellement un sepsis, est de 42,5 / (42,5 + 95) = 30,9 %.

Le clinicien qui utilise ce système verra à peu près deux fausses alertes pour une vraie. Dans une réanimation chargée, un système qui se trompe 70 % du temps quand il alerte sera traité comme du bruit en quelques semaines. L'AUROC de 0,95 est bien réelle, mais elle masque le poids des faux positifs, qui décide pourtant si quelqu'un se servira du système.

J'ai vu ce phénomène à l'œuvre pendant mes années de formation clinique, bien avant de travailler dans l'IA. La lassitude face aux alertes du dossier informatisé était déjà telle que les médecins cliquaient sur « ignorer » par réflexe, sans lire le texte de l'alerte.

Quand tout est alarme, plus rien ne l'est.

Validé là où il a été conçu

La plupart des études de validation en IA clinique testent le système sur des données de l'établissement qui l'a développé. Les raisons sont pratiques : les développeurs ont accès à leurs propres données, ils en connaissent les habitudes de documentation, et une validation interne est plus rapide et moins coûteuse. Mais cela introduit un biais systématique qui gonfle les performances annoncées.

Les hôpitaux diffèrent sur des points qui pèsent lourdement sur les performances d'un algorithme. Les pratiques de documentation varient : certains établissements relèvent les constantes toutes les heures, d'autres toutes les quatre heures. Les habitudes de prescription biologique ne sont pas les mêmes. Les dossiers informatisés ne sont pas paramétrés de façon uniforme. Un modèle entraîné et testé sur les données d'un seul établissement apprend à la fois les vrais signaux cliniques et tous ces artefacts propres au site. La validation interne capte les deux. Seule la validation externe révèle quels signaux sont réels.

L'exemple le plus parlant est le modèle de prédiction du sepsis d'Epic. Entraîné et validé en interne, il affichait une bonne discrimination. Quand des chercheurs de l'Université du Michigan l'ont évalué de façon indépendante sur leurs propres patients, l'AUROC est tombée à 0,63, à peine mieux que le hasard. L'étude, publiée par Wong et al. dans JAMA Internal Medicine en 2021, a montré que le modèle passait à côté des deux tiers des cas de sepsis et produisait tant de fausses alertes que la confiance des cliniciens s'est vite érodée.

Une revue systématique parue dans le Korean Journal of Radiology a examiné 516 études publiées sur l'IA en imagerie diagnostique : 6 % seulement avaient testé leur algorithme sur un jeu de données externe et indépendant. Les hôpitaux qui fondent leurs décisions d'achat sur les 94 % restants achètent, à bien y regarder, des promesses de performance que personne n'a vérifiées.

Des chiffres honnêtes peuvent quand même tromper

Une entreprise peut publier des chiffres parfaitement exacts et donner pourtant une image trompeuse. Ce n'est pas une affaire de fraude. C'est une affaire de présentation.

Premier procédé, la mise en avant d'un sous-groupe : un système dont l'AUROC globale est de 0,82 peut atteindre 0,91 chez les patients de plus de 65 ans ayant au moins trois comorbidités. L'entreprise publie le 0,91 pour la « population à haut risque ». C'est techniquement exact, mais cela laisse croire à des performances meilleures que celles que le système offre sur l'ensemble des patients.

Second procédé, donner la sensibilité et la spécificité sans la VPP : l'entreprise qui annonce « 92 % de sensibilité et 88 % de spécificité » énonce des chiffres vrais et flatteurs. Celle qui annonce « VPP de 28 % pour une prévalence de 4 % » décrit le même système. Lequel de ces chiffres mettriez-vous en tête d'une présentation commerciale ?

Un rapport de validation sérieux donne les performances au seuil réellement utilisé en production, pas seulement sur l'ensemble des seuils possibles. Il montre comment le système se comporte selon les types d'hôpitaux et les populations de patients, et pas seulement sous la forme d'un chiffre global. Il précise enfin si la validation a été interne ou externe. La plupart ne le font pas.

Comment évaluer une IA clinique avant de l'adopter

Les établissements qui évaluent une IA clinique se voient le plus souvent présenter quelques diapositives et un seul chiffre de performance. Ce chiffre est en général l'AUROC, un indicateur que la plupart des cliniciens et des directeurs d'hôpitaux n'ont jamais appris à interpréter. Il mesure la capacité du système à classer les patients selon leur risque, pas sa justesse au moment où il déclenche une alerte. Une AUROC élevée ne garantit pas que le système fonctionnera bien dans votre hôpital, avec vos patients, au seuil que vous utiliserez.

Voici ce qui compte davantage. Le système a-t-il été testé dans des hôpitaux qui n'ont pas participé à sa conception ? S'il n'a été validé qu'en interne, ses performances risquent de ne pas se confirmer chez vous. Chaque hôpital documente à sa manière, prescrit des examens biologiques à son propre rythme, et soigne sa propre population. Un système qui fonctionne là où il a été construit n'a pas prouvé grand-chose sur sa capacité à fonctionner ailleurs.

Combien de fausses alertes vos infirmières verront-elles par garde ? Si le système déclenche 20 alertes par unité et que 15 sont fausses, votre équipe aura appris à toutes les ignorer en quelques semaines. Demandez le taux de faux positifs au seuil réellement utilisé par le système, et non le meilleur cas théorique tiré de l'article de validation.

Avec quelle avance détecte-t-il vraiment les problèmes ? Un système qui repère une dégradation 2 heures avant la crise apporte quelque chose. Un système qui la repère un jour ou plus à l'avance ouvre à votre équipe un tout autre éventail d'interventions. Demandez le délai d'anticipation médian observé en conditions réelles, et non celui d'une analyse rétrospective.

Vos cliniciens peuvent-ils voir pourquoi le système a signalé un patient ? Si la réponse est non, l'adoption restera faible, quelle que soit la précision. Les médecins sont formés à évaluer des éléments de preuve, pas à agir sur des scores inexpliqués.

Calibration, délai d'anticipation : les indicateurs que personne ne publie

La communauté du machine learning a optimisé sans relâche les indicateurs de discrimination. L'AUROC et l'AUPRC répondent à une question : le système sait-il séparer les cas positifs des cas négatifs ? Pour un déploiement clinique, c'est nécessaire, mais pas suffisant.

La calibration mesure si les probabilités prédites sont fiables en valeur absolue. Dans un système bien calibré, parmi les patients auxquels il attribue un risque de sepsis de 30 %, environ 30 % devraient effectivement en développer un. Une mauvaise calibration signifie qu'on ne peut pas prendre les chiffres au pied de la lettre, et le clinicien qui hésite entre surveillance attentive et intervention agressive a besoin de savoir si « 70 % de risque » veut vraiment dire 70 %. La calibration s'évalue par des courbes de calibration, le score de Brier et le test de Hosmer-Lemeshow. Elle est rarement rapportée dans les publications d'IA clinique. Cette absence devrait être prise comme un signal d'alerte.

Le délai d'anticipation mesure avec quelle avance le système détecte une pathologie par rapport aux approches habituelles. Pour un système qui prétend fournir une « alerte précoce », la vraie question n'est pas seulement de savoir s'il repère la dégradation, mais avec combien d'avance sur l'évaluation clinique standard. Un système dont l'AUROC est plus basse mais qui offre 20 heures d'avance supplémentaires peut sauver davantage de vies qu'un système à l'AUROC plus élevée dont l'avance sur la détection clinique est minime.

Nous nous imposons ces mêmes exigences. Notre propre validation, calibration et délai d'anticipation compris, sera publiée une fois achevée.