El proyecto eXplAIn, desarrollado por ITI, centro tecnológico especializado en TIC y financiado por el Instituto Valenciano de Competitividad Empresarial (IVACE+i) y la Unión Europea, ha avanzado significativamente en la construcción de diferentes herramientas para la transparencia, explicabilidad y gobernanza de sistemas de inteligencia artificial. La solución combina una infraestructura de model cards , capaz de documentar de forma estandarizada cualquier sistema de IA, con un conjunto de técnicas de explicabilidad global y local que permiten comprender, validar y auditar las decisiones generadas por los modelos.
La explicabilidad global y la explicabilidad local son dos enfoques complementarios dentro de la Inteligencia Artificial Explicable (XAI). La explicabilidad global busca comprender el comportamiento general de un modelo, identificando qué variables son más relevantes y cómo influyen, en promedio, sobre las predicciones a lo largo de todo el conjunto de datos. Por el contrario, la explicabilidad local se centra en explicar una predicción concreta, mostrando qué factores han sido determinantes para que el modelo tome una decisión específica en una instancia individual. En consecuencia, la diferencia fundamental radica en su alcance: mientras la explicabilidad global responde a la pregunta “¿cómo funciona el modelo en términos generales?”, la explicabilidad local responde a “¿por qué el modelo ha emitido esta predicción en este caso particular?”. Ambas perspectivas son necesarias para lograr una comprensión completa, ya que la primera aporta una visión estratégica del comportamiento del modelo y la segunda proporciona justificaciones detalladas de decisiones individuales.
Transparencia a través de model cards
El proyecto eXplAIn ha puesto en marcha una herramienta genérica de model cards que sirve para documentar cualquier sistema o modelo de IA [HV1.1]mediante un formulario previamente definido a partir de lo establecido por la regulación actual.[HV2.1] Cada ficha recoge de forma estructurada: propósito y contexto de uso, origen y características de los datos, proceso de entrenamiento y validación, métricas de rendimiento estratificadas, riesgos, limitaciones, detalles sobre la supervisión humana y la evidencia de explicabilidad generada (por ejemplo, mediante una gráfica generada con SHAP). El sistema incorpora versionado semántico, posibilidad de rellenar campos mediante el uso de LLMs, y trazabilidad completa de artefactos XAI[HV3.1][GG3.2] vinculados a la versión del modelo, asegurando que la documentación sea auditable y cumpla con el AI Act, el MDR y los estándares ISO.
El diseño desacoplado entre la UI (Explain) y la lógica de almacenamiento garantiza flexibilidad tecnológica y permite la integración en cualquier plataforma mediante Web Components y API REST.
Herramientas de explicabilidad
Durante el proyecto se ha trabajado en varias herramientas de explicabilidad. Una de ellas es SHAP (SHapley Additive exPlanations), que proporciona tanto explicabilidad local como global. Las visualizaciones generadas para la explicación global se pueden incorporar directamente en la model card, y el usuario puede explorar distintas representaciones gráficas para interpretar la decisión del modelo.
Paralelamente, eXplAIn ha creado una aplicación experimental que incorpora gráficas generadas con SHAP con un módulo What If que permite al usuario modificar los valores de entrada y observar en tiempo real cómo varía la predicción y la visualización correspondiente, facilitando la simulación de escenarios hipotéticos.
También relacionado con la explicabilidad local, se ha evolucionado el método ICE (Individual Conditional Expectation) y su extensión multivariante MUCE (Multivariate Conditional Expectation). ICE permite analizar el efecto aislado de una única característica sobre la predicción manteniendo el resto fijo, mientras que MUCE estudia el efecto conjunto de variaciones simultáneas en varias características, capturando interacciones que el análisis univariante no detecta. Ambas metodologías constituyen la base para calcular los indicadores de estabilidad e incertidumbre local del modelo. La metodología se ha adaptado para que estos indicadores puedan aplicarse a distintos tipos de modelos, incluidos modelos de clasificación, regresión y percentil de riesgo. Asimismo, se ha incorporado una métrica de fidelidad para evaluar en qué medida los indicadores representan el comportamiento real del modelo, junto con un criterio de cobertura que permite comprobar que el entorno local está suficientemente representado.
Para datos tabulares, este componente y SHAP son complementarios: mientras que SHAP permite identificar la contribución de las variables a una predicción, ICE y MUCE permiten analizar la estabilidad e incertidumbre de dicha predicción frente a variaciones locales de los datos de entrada.
Para el caso de imágenes y modelos de visión profunda el proyecto complementa la explicabilidad local con Grad CAM, una técnica basada en gradientes que produce mapas de calor a nivel de píxel. El host calcula el mapa de relevancia a partir de la arquitectura CNN del modelo y lo guarda como archivo de imagen proporcionando al usuario una visualización intuitiva de las regiones de la imagen que más influyen en la decisión del modelo. Cuando se vincula esto con información 3D, se pueden obtener puntos 3D de interés sobre los objetos procesados. La validez de estos puntos puede ser juzgada a fin de determinar si el modelo ha realizado una predicción fundamentada en información correcta. Esto actúa como una medida sobre la fiabilidad de la predicción.
Por último, SEQENS es el algoritmo de eXplAIn utilizado para la identificación global de variables generadoras de un escenario objetivo capaz de operar sobre datos heterogéneos de alta dimensionalidad. Su objetivo es concretar de forma robusta las variables relevantes del conjunto de datos relacionadas con la variable objetivo, lo que permite comprender qué factores influyen de manera determinante en las decisiones del modelo y crear modelos posteriores a partir de éstas.
Durante el proyecto, se han realizado varias implementaciones con el objetivo de mejorar los tiempos de cómputo, intentando mantener las prestaciones. Esto es de especial interés en las bases de datos de alta dimensionalidad, donde el alto número de variables complica la identificación, además de incrementar el tiempo necesario para ello.
El flujo de integración sigue la misma arquitectura desacoplada del módulo de transparencia: el despliegue de SEQENS se realiza totalmente en el backend, mientras que el componente visual Explain simplemente recupera los resultados a través de la API REST.
Conclusiones
La combinación de una infraestructura de model cards y de un conjunto integral de técnicas de explicabilidad (SHAP, What If, ICE, MUCE, SEQENS y Grad CAM) convierte a eXplAIn en una solución robusta para la transparencia y la trazabilidad de sistemas de IA. La arquitectura desacoplada entre Explain y el host permite integrar la herramienta en cualquier entorno de desarrollo mediante Web Components o API REST, evitando dependencias rígidas y facilitando su adopción en pipelines MLOps.
Al registrar todas las model cards como artefactos versionados y vincularlas a la versión concreta del modelo, se garantiza que cualquier auditoría pueda reconstruir el estado exacto del sistema en un momento dado, cumpliendo con los requisitos del AI Act, del MDR y de los estándares ISO/IEC relevantes. La presencia de indicadores de estabilidad e incertidumbre, junto con métricas de calidad de las explicaciones, aporta una base cuantitativa para evaluar la confiabilidad de las decisiones del modelo y orientar mejoras en el proceso de desarrollo.
En resumen, eXplAIn ofrece un marco de trabajo de gobernanza explicativa y transparencia que permite a desarrolladores, usuarios finales y auditores comprender, validar y confiar en los resultados de los modelos de IA, reduciendo riesgos, favoreciendo la adopción responsable y alineándose con la normativa europea vigente.
