EXPLAIN

El objetivo del proyecto eXplAIn es desarrollar un enfoque técnico y metodológico que permita integrar técnicas de explicabilidad en modelos de IA de alto riesgo, entre ellos los sanitarios, garantizando su comprensión tanto por parte de usuarios como de autoridades regulatorias. Este enfoque no sólo facilitará el cumplimiento con los requisitos de transparencia, seguridad y trazabilidad establecidos por la AI Act, sino que también fomentará la confianza y adoptabilidad de la IA en sectores críticos, como salud (MDR) mediante soluciones técnicas accesibles y alineadas con las normativas vigentes.

El proyecto aborda el reto de dotar de explicabilidad a los modelos de inteligencia artificial, centrándose en su transparencia, interpretabilidad y cumplimiento regulatorio. En primer lugar, se realizará un análisis actualizado de las técnicas de explicabilidad existentes, con el objetivo de identificar metodologías que mejoren la comprensión del comportamiento de los modelos a lo largo de su ciclo de vida, especialmente en aplicaciones críticas donde la confianza es esencial. A continuación, se trabajará en la optimización del algoritmo SEQENS para explicabilidad global en espacios de alta dimensionalidad, mejorando la identificación y priorización de características relevantes y optimizando tanto los hiperparámetros como el uso de recursos computacionales.

En paralelo, se desarrollarán indicadores de estabilidad e incertidumbre aplicados a la explicabilidad local en modelos que operan sobre datos tabulares. Este enfoque permitirá evaluar la robustez de las predicciones ante pequeñas perturbaciones y estimar la fiabilidad de cada decisión individual. Para modelos de imagen, se diseñará una metodología de explicabilidad local basada en análisis de relevancia, utilizando mapas de calor que muestren visualmente las regiones de la imagen más influyentes en la predicción, lo que resulta especialmente útil en entornos sensibles como el diagnóstico médico.

Además, se abordará el desarrollo de métricas objetivas que permitan evaluar la calidad de las explicaciones generadas por técnicas de XAI, incluyendo aspectos como la fidelidad, la consistencia o la robustez. Estas métricas permitirán validar de forma rigurosa las explicaciones sin depender únicamente de la interpretación humana. En cuanto al marco normativo, se analizarán los requisitos de transparencia establecidos en el Reglamento de Inteligencia Artificial (AI Act), con el fin de implementar una documentación estandarizada del modelo mediante una "model card" accesible, clara y comprensible para distintos perfiles de usuario.

Finalmente, se seleccionarán y se integrarán herramientas de explicabilidad que sean aplicables a diferentes tipos de modelos y etapas del ciclo de vida de la IA, asegurando su utilidad tanto para el desarrollo técnico como para la auditoría y la supervisión regulatoria. Todo ello permitirá avanzar hacia sistemas de IA más comprensibles, confiables y alineados con las exigencias éticas y legales actuales.