¿Confiaríamos en una herramienta de inteligencia artificial (IA) que sea capaz de proporcionar un diagnóstico o recomendar un tratamiento sin saber cómo funciona? Esta pregunta resume uno de los grandes retos que supone la aplicación de la IA. En sectores tan sensibles como la medicina, donde una decisión equivocada puede afectar a la vida de una persona, es clave convertir modelos complejos y difíciles de interpretar en sistemas transparentes, fiables y comprensibles para quienes deben utilizarlos.
La IA ofrece grandes oportunidades para mejorar la atención sanitaria, desde el apoyo en el diagnóstico hasta la personalización de tratamientos. Sin embargo, muchas veces no sabemos ni cómo ni por qué la IA llega a ciertos resultados. Su uso en salud exige garantías adicionales, no solo por cuestiones técnicas, sino también éticas, sociales y regulatorias.
Bajo este marco, y en línea con las exigencias de la AI Act y el MDR, la legislación europea que regula la IA y los productos sanitarios, respectivamente, ITI, centro tecnológico especializado en TIC, está trabajando en eXplAIn para desarrollar modelos de IA explicables que permitan aumentar la confianza en el uso de estas tecnologías en sectores críticos. El objetivo es facilitar que profesionales, empresas, industrias y organismos reguladores puedan comprender mejor cómo funcionan los sistemas de IA y utilizarlos con mayores garantías en ámbitos como la salud, la industria o la energía.
Modelos transparentes y confiables alineados con la regulación europea
El proyecto, financiado por el Instituto Valenciano de Competitividad Empresarial (IVACE+i) y la Unión Europea, con número de expediente IMDEEA 2025/111, tiene como objetivo principal crear herramientas que permitan entender cómo funcionan los modelos de IA, especialmente, aquellos que se usan en áreas críticas como la salud.
Desde el centro tecnológico trabajan para “que estos sistemas sean transparentes y comprensibles, para que tanto los profesionales como las autoridades puedan confiar en ellos y cumplan con la AI Act (normas europeas de IA) y el MDR (la ley europea que controla los productos médicos)”, ha declarado Guillermo Amat, coordinador del grupo de trabajo de IA Responsable en ITI.
Para ello, se ha partido de un análisis de las técnicas actuales que explican los resultados generados por una IA, con el objetivo de entender su comportamiento general, así como sus predicciones individuales, a través de componentes en los que se incluyen aspectos como la identificación de parámetros clave o la estabilidad e incertidumbre que presenta el modelo en sus decisiones.
“Por ejemplo, estos componentes ayudan a entender cómo los modelos analizan imágenes, mostrando qué partes de la imagen tienen más influencia en sus predicciones usando herramientas como mapas de calor”, ha especificado Amat.
Además, se han definido métricas que midan la calidad de las explicaciones que ofrecen los modelos de IA. Como resultado final, se ha diseñado una “tarjeta modelo” que explique, de manera fácil y sencilla, cómo funciona cada modelo de forma general.
Validación de la mano de empresas especializadas en IA y en el sector salud
Finalmente, el proyecto nace con el objetivo de poder integrar todas estas herramientas y avances en el ciclo de vida de los modelos de IA, de modo que la transparencia sea parte del proceso desde el principio.
Para este último paso, ITI está colaborando con varias empresas que aportan datos reales y representativos, validan las herramientas desarrolladas y aseguran que las soluciones sean útiles en la práctica.
Por un lado, están empresas como Sumamos BI & Digital Channels, una consultora tecnológica y de análisis de datos que puede aplicar IA a distintos sectores o Sciling S.L., especializada en consultoría de IA con soluciones a medida.
Por el otro, también cuenta con empresas del sector salud, como es el caso de World Sport Genetics, que aplica IA en medicina deportiva y empresas que trabaja soluciones para el sector salud como One Million Bot, especializada en soluciones de IA para sanidad y salud.
“El impacto esperado de eXplAIn es grande, ya que estas soluciones ayudarán a que la IA sea más confiable, transparente y fácil de adoptar por cualquier organización que haga uso de Sistemas de Inteligencia Artificial. Esto es especialmente importante en sectores críticos como la salud, apoyando la toma de decisiones y mejorando la seguridad y la confianza de profesionales y pacientes”, ha concluido Amat.