IA en radiología: cómo evaluar una herramienta antes del piloto

La reunión empieza con una pantalla y una promesa: «Esto os va a ahorrar mucho trabajo». La pregunta útil es qué parte del trabajo, con qué datos y bajo qué condiciones. Una herramienta para organizar documentación docente no plantea la misma evaluación que un sistema que influye en la interpretación de imágenes.

Esta guía propone una ficha de trabajo para preparar preguntas. No es un protocolo clínico, una certificación ni una autorización de compra o despliegue. La decisión corresponde a los responsables competentes del centro.

1. Escribe la tarea antes de mirar la demostración

Describe quién utilizaría la herramienta, qué entrada recibiría y qué salida produciría. Añade qué haría una persona con ese resultado y qué ocurriría si fuera erróneo. «Usar IA en el servicio» es demasiado amplio; «preparar una lista de preguntas para revisar un artículo» es una tarea que puedes delimitar.

Separa los usos docentes y administrativos de los que intervienen en la atención. No traslades las conclusiones de un uso al otro. Para entrenar al equipo, comienza con documentación pública o material ficticio; este ejercicio no requiere imágenes ni datos de pacientes.

2. Una matriz de preguntas para la primera revisión

La siguiente matriz es una propuesta docente de Lab3sesenta. Se inspira, en parte, en los temas de transparencia de la guía CLAIM para estudios de IA en imagen médica. No reproduce CLAIM ni convierte su lista en una puntuación de compra. CLAIM está concebida para informar y revisar investigación; la evaluación de una solución en un centro requiere más comprobaciones.

Para cada fila, usa tres estados: evidencia aportada, pendiente o no aplicable con motivo. Añade un responsable y una próxima acción. No sumes casillas para obtener una nota: una cuestión esencial sin resolver puede impedir continuar aunque las demás estén completas.

3. Caso ficticio: una cifra llamativa y preguntas pendientes

Imagina que un proveedor presenta «precisión del 95 %». Es una cifra inventada para este ejercicio, no el resultado de un producto. El material no identifica bien el conjunto de prueba ni explica qué ocurre cuando el sistema falla.

Una conclusión precipitada: «Con un 95 % ya podemos probarlo con la actividad del servicio».

Una conclusión revisada: «La información disponible no permite interpretar la cifra en nuestro contexto. Pediremos la definición de la métrica, la referencia empleada, el conjunto de prueba, la incertidumbre y el análisis de errores. El equipo responsable revisará después si procede preparar una evaluación».

La salida útil de la reunión es una lista de cuestiones verificables, no un sí o no generado por un chatbot. Si entregas documentos públicos a una IA para ordenar preguntas, comprueba cada afirmación contra el texto original y conserva su localización. No le pidas que rellene datos que el documento no contiene.

4. Un ejercicio docente que puedes hacer con el equipo

1. Seleccionad un artículo de acceso permitido sobre una tarea definida; anotad el título y la fecha.
2. Cada participante completa la matriz citando dónde ha encontrado la información. Si falta, marca pendiente.
3. Comparad las diferencias: ¿habéis confundido datos de entrenamiento y prueba?, ¿habéis interpretado igual la métrica?
4. Redactad las preguntas que faltan y asignad quién debe responderlas. No utilicéis datos de pacientes ni conectéis herramientas al sistema del centro como parte de este ejercicio.

Mide si el equipo puede localizar evidencia y reconocer límites, no cuántas herramientas ha probado. Puedes revisar las reglas y ejercicios para asistentes de IA si también estáis preparando borradores o documentación.

5. Del aprendizaje a una decisión documentada

Completar la ficha no demuestra eficacia clínica ni idoneidad de implantación. Si se plantea continuar, el centro debe definir su evaluación y las revisiones clínicas, técnicas, de protección de datos y de cumplimiento que correspondan. No se propone aquí un umbral de aprobación ni una prueba asistencial.

Aprender a formular estas preguntas ayuda a que una conversación con un proveedor termine con tareas claras. También permite identificar qué formación necesitan los distintos perfiles antes de avanzar.