Por qué la mayoría de los estudios de validación de IA clínica son engañosos

AUROC: la cifra que todos publican y casi nadie entiende

Cuando una empresa de IA clínica publica sus resultados de validación, la métrica estrella es casi siempre el AUROC, el área bajo la curva ROC (Receiver Operating Characteristic). Un AUROC de 0,95 suena excepcional, y aparece una y otra vez en presentaciones para inversores, notas de prensa y congresos como prueba de que el sistema «funciona». Gestores hospitalarios, inversores e incluso algunos clínicos ven 0,95 y concluyen que el sistema identifica correctamente la enfermedad buscada el 95% de las veces.

Esa lectura es errónea.

El AUROC mide la discriminación: la capacidad del sistema de puntuar más alto un caso positivo elegido al azar que un caso negativo elegido al azar. Resume todos los umbrales de clasificación posibles, la mayoría de los cuales nunca se usarán en la práctica. En igualdad de condiciones, un sistema con un AUROC de 0,95 ordena mejor que uno de 0,80. Pero el AUROC no dice nada de lo que pasa en el umbral concreto que el hospital va a usar, ni de cómo rinde el sistema en la población que ese hospital atiende.

Qué es un 0,95 a pie de cama

Pongamos un sistema de detección de sepsis con un AUROC de 0,95, un 85% de sensibilidad y un 90% de especificidad. En un artículo, las cifras lucen sólidas. Ahora llevémoslas a una UCI real, donde la prevalencia de sepsis es del 5%.

De cada 1000 pacientes cribados, 50 tienen sepsis y 950 no. El sistema identifica correctamente a 42,5 de los 50 con sepsis y descarta correctamente a 855 de los 950 sin ella. Pero entre esos 950 pacientes sin sepsis también genera 95 falsas alarmas. El valor predictivo positivo, es decir, la probabilidad de que un paciente señalado tenga de verdad sepsis, es 42,5 / (42,5 + 95) = 30,9%.

Un clínico que use este sistema verá aproximadamente dos falsas alarmas por cada alarma verdadera. En una UCI con mucha carga, un sistema que se equivoca el 70% de las veces que avisa se tratará como ruido en pocas semanas. El AUROC de 0,95 es real, pero oculta la carga de falsos positivos, y es esa carga la que decide si alguien llegará a usar el sistema.

Vi esta dinámica en mi formación clínica, mucho antes de trabajar en IA. La fatiga por alertas de la historia clínica electrónica ya era tan grave que los médicos pulsaban «omitir» por pura memoria muscular, sin leer el texto de la alerta.

Cuando todo es una alarma, nada lo es.

Validado en casa

La mayoría de los estudios de validación de IA clínica ponen a prueba el sistema con datos de la misma institución que lo desarrolló. Las razones son prácticas: los desarrolladores tienen acceso a sus propios datos, conocen sus hábitos de documentación y la validación interna es más rápida y más barata. Pero así se introduce un sesgo sistemático que infla el rendimiento publicado.

Los hospitales difieren en aspectos que afectan profundamente al rendimiento de un algoritmo. Las prácticas de documentación varían: unos registran las constantes vitales cada hora; otros, cada cuatro. No se piden los análisis con la misma pauta. Las configuraciones de la historia clínica electrónica no están estandarizadas. Cuando un modelo se entrena y se prueba con datos de una sola institución, aprende patrones en los que se mezclan esas peculiaridades locales con las señales clínicas genuinas. La validación interna capta las dos cosas. La externa revela qué señales son reales.

El ejemplo más instructivo es el modelo de predicción de sepsis de Epic. Entrenado y validado internamente, mostraba una buena discriminación. Cuando investigadores de la Universidad de Michigan evaluaron por su cuenta el mismo modelo con sus pacientes, el AUROC cayó a 0,63, apenas mejor que el azar. El estudio, publicado por Wong et al. en JAMA Internal Medicine en 2021, encontró que el modelo no detectaba dos tercios de los casos de sepsis y generaba tantas falsas alertas que la confianza de los clínicos se erosionó rápidamente.

Una revisión sistemática publicada en el Korean Journal of Radiology examinó 516 estudios sobre IA en diagnóstico por imagen y halló que solo el 6% había probado su algoritmo con un conjunto de datos externo e independiente. Los hospitales que compran basándose en el 94% restante están, en un sentido real, comprando promesas de rendimiento sin verificar.

Las cifras honestas también pueden engañar

Una empresa puede publicar cifras completamente exactas y aun así dar una imagen engañosa. No es cuestión de fraude. Es cuestión de encuadre.

Elegir qué subgrupos se publican: un sistema con un AUROC global de 0,82 puede alcanzar 0,91 en pacientes mayores de 65 años con al menos tres comorbilidades. La empresa presenta el 0,91 como dato de la «población de alto riesgo». Es técnicamente cierto, pero sugiere un rendimiento mejor del que el sistema ofrece en el conjunto de los pacientes.

Dar la sensibilidad y la especificidad sin el VPP: una empresa que anuncia «92% de sensibilidad y 88% de especificidad» da cifras ciertas que suenan impresionantes. Una empresa que anuncia «VPP del 28% con una prevalencia del 4%» describe el mismo sistema. ¿Con cuál de las dos abriría usted una presentación de ventas?

Un informe de validación responsable muestra el rendimiento en el umbral que de verdad se usa en la práctica, no solo en el conjunto de umbrales posibles. Muestra cómo rinde el sistema en distintos tipos de hospital y de población, no solo como una única cifra agregada. Y dice si la validación fue interna o externa. La mayoría no lo hace.

Cómo evaluar una IA clínica antes de adoptarla

A la mayoría de los sistemas de salud que evalúan una IA clínica se les enseña una presentación con una sola cifra de rendimiento. Suele ser el AUROC, una métrica que casi ningún clínico ni gestor hospitalario aprendió nunca a interpretar. Mide lo bien que un sistema ordena a los pacientes según su riesgo, no lo acertado que es cuando efectivamente lanza una alerta. Un AUROC alto no significa que el sistema funcione bien en su hospital, con sus pacientes y en el umbral que usted va a usar.

Hay preguntas que importan más. ¿Se probó el sistema en hospitales que no participaron en su desarrollo? Si solo se validó internamente, puede que el rendimiento no se mantenga en su institución. Cada hospital documenta a su manera, pide análisis con distinta frecuencia y atiende a poblaciones distintas. Que un sistema funcione en el hospital donde se construyó demuestra muy poco sobre dónde más funcionará.

¿Cuántas falsas alarmas verá su personal de enfermería en cada turno? Si el sistema genera 20 alertas por unidad y 15 son erróneas, su equipo aprenderá a ignorarlas todas en pocas semanas. Pida la tasa de falsos positivos en el umbral que el sistema usa de verdad, no el mejor caso teórico del artículo de validación.

¿Con cuánta antelación detecta realmente los problemas? Un sistema que detecta el deterioro 2 horas antes de una crisis aporta algo. Uno que lo detecta un día antes, o más, le da a su equipo margen para intervenciones de otra naturaleza. Pida la mediana de antelación en implantaciones reales, no en análisis retrospectivos.

¿Pueden sus clínicos ver por qué el sistema señaló a un paciente? Si la respuesta es no, la adopción será baja, sea cual sea la precisión. A los médicos se les forma para evaluar evidencia, no para actuar ante puntuaciones que nadie explica.

Calibración, antelación y las métricas que nadie publica

La comunidad del aprendizaje automático ha optimizado sin descanso las métricas de discriminación. El AUROC y el AUPRC responden a una pregunta: ¿sabe el sistema separar los casos positivos de los negativos? Para el uso clínico, eso es necesario, pero no basta.

La calibración mide si las probabilidades que predice el sistema son fiables en términos absolutos. Si un sistema bien calibrado asigna un 30% de riesgo de sepsis a un grupo de pacientes, aproximadamente el 30% de ese grupo debería desarrollarla. Una mala calibración significa que las cifras no pueden tomarse al pie de la letra, y un clínico que duda entre la espera vigilante y una intervención agresiva necesita saber si «70% de riesgo» significa realmente 70%. La calibración puede evaluarse con curvas de calibración, la puntuación de Brier y el estadístico de Hosmer-Lemeshow. Rara vez aparece en las publicaciones sobre IA clínica. Esa ausencia debería tomarse como una señal de alarma.

La antelación mide cuánto antes detecta el sistema una enfermedad en comparación con los métodos convencionales. En los sistemas que prometen «alerta temprana», la pregunta que importa no es solo si identifican el deterioro, sino cuánto antes lo identifican que la valoración clínica habitual. Un sistema con un AUROC más bajo pero 20 horas más de antelación puede salvar más vidas que otro con un AUROC más alto y una ventaja mínima en la detección precoz.

Nos exigimos los mismos estándares. Nuestra propia validación, con la calibración y la antelación incluidas, se publicará cuando esté terminada.