AITANA-MoMo: Monitorización de Modelos en producción

En este contexto de innovación, las empresas valencianas tienen una oportunidad de explotar todos los datos que generan en su día a día con el fin de crear modelos de IA que les permitan aumentar su productividad, procesos de negocio, calidad de sus productos, mantenimiento predictivo, nuevos servicios basados en IA etc. Pero el rendimiento de los modelos predictivos creados para dar solución a todos estos casos de éxito dependen de múltiples factores, como el cambio de pautas en los datos de entrada (por ejemplo en caso de una predicción de un carrito de compra que los usuarios cambien las pautas de compra), datos incompletos en los datos de entrenamiento que no reflejan la realidad, migraciones en los sistemas de captura de datos, abusos o fraudes que intentan provocar romper el modelo (por ejemplo en los filtros spam de correos utilizan AI para identificar que correo es no deseado, y los spammers intentan constantemente encontrar nuevas fórmulas para evitar dichos filtros) o eventos inesperados (como por ejemplo la pandemia, en que los modelos están basados en datos históricos y no reflejan la información y comportamiento de los usuarios como antes de la pandemia).

Cambios en algunos de estos factores pueden alterar los resultados predictivos de nuestros modelos bajando el rendimiento y la calidad de las predicciones, haciendo incluso que los modelos desarrollados no sean útiles o tengan un bajo porcentaje de aciertos. Por ello toda empresa que desarrolle modelos de IA debe cerciorarse de que su modelo no sufre degradación y que continúa proporcionando los resultados esperados.

El presente proyecto, AITANA-MoMo, tiene como objetivo completar la necesidad crucial e importante en el ciclo de vida de los modelos de inteligencia artificial que es la monitorización de los modelos para la detección de la degradación de los mismo, permitiendo a los desarrolladores poder tomar decisiones sobre los mismos en caso de degradación o un funcionamiento no esperado de los mismos, permitiendo investigar la causa y re-entrenarlos en caso de ser necesario, ofreciendo una serie de herramientas de monitorización y visualización que permita tomar dichas decisiones.

Objetivos

El uso de la Inteligencia Artificial (IA) y el Machine Learning en nuestro día a día está cada vez más presente en todos los ámbitos y sectores, tanto industriales como personales, en un uso cada vez más intensivo de los mismos. Esta nueva revolución, con grandes beneficios en todos los ámbitos de nuestras vidas nos permite desde interactuar con dispositivos que nos rodean como los móviles o dispositivos inteligentes de nuestro hogar, mejoras en la salud como detección precoz de cáncer de piel o predicción de reingreso de pacientes, o incluso en la industria con mecanismos de predicción de mantenimiento o gemelos digitales y un gran etc de diferentes casos de éxito de la Inteligencia Artificial. En este contexto de innovación, las empresas valencianas tienen una oportunidad de explotar todos los datos que generan en su día a día con el fin de crear modelos de IA que les permitan aumentar su productividad, procesos de negocio, calidad de sus productos, mantenimiento predictivo, nuevos servicios basados en IA etc. Pero el rendimiento de los modelos predictivos creados para dar solución a todos estos casos de éxito dependen de múltiples factores, como el cambio de pautas en los datos de entrada (por ejemplo en caso de una predicción de un carrito de compra que los usuarios cambien las pautas de compra), datos incompletos en los datos de entrenamiento que no reflejan la realidad, migraciones en los sistemas de captura de datos, abusos o fraudes que intentan provocar romper el modelo (por ejemplo en los filtros spam de correos utilizan AI para identificar que correo es no deseado, y los spammers intentan constantemente encontrar nuevas fórmulas para evitar dichos filtros) o eventos inesperados (como por ejemplo la pandemia, en que los modelos están basados en datos históricos y no reflejan la información y comportamiento de los usuarios como antes de la pandemia). Cambios en algunos de estos factores pueden alterar los resultados predictivos de nuestros modelos bajando el rendimiento y la calidad de las predicciones, haciendo incluso que los modelos desarrollados no sean útiles o tengan un bajo porcentaje de aciertos. Por ello toda empresa que desarrolle modelos de IA debe cerciorarse de que su modelo no sufre degradación y que continúa proporcionando los resultados esperados.

El objetivo general del presente proyecto es el desarrollo de herramientas de monitorización de modelos en producción que faciliten su mantenimiento y permitan la detección de la degradación de la calidad de los modelos. 

Para ello, se llevará a cabo la investigación de las nuevas técnicas y algoritmos encargados de la supervisión del rendimiento de los modelos en producción permitiendo la detección de la degradación de la calidad de los modelos debido a cambios no controlados en la fase de entrenamiento. La degradación de los modelos tiene un impacto negativo en los resultados empresariales obtenidos y deben ser monitorizados de forma activa para poder prevenir predicciones incorrectas debidas a situaciones no controladas permitiendo a los desarrolladores tomar decisiones inmediatas o incluso automatizadas. 

Este proyecto pretende potenciar la capacidad investigadora y productiva en IA, así como una mayor industrialización del proceso de generación de modelos de IA mediante los siguientes pilares principales:

Análisis del estado del arte de las técnicas y algoritmos de monitorización de modelos y detección de degradación de modelos, así como definir las variables y KPI’s que determinen el estado de un modelo. 
Desarrollo de herramientas de monitorización de modelos en producción que faciliten el mantenimiento de los modelos en producción y permita la detección de la degradación de los modelos. 
Realizar una prueba piloto involucrando a una o más empresas para el testeo de la plataforma y recogida de feedback.

Para ello se proponen los siguientes objetivos específicos:

Realizar un análisis de la problemática que permita la conceptualización, caracterización, exploración e identificación de variables y factores para la confección de la solución que aborden el problema de la monitorización y detección de degradación de la calidad de los modelos en producción, creando una solución única e intuitiva que permita a los científicos de datos mayor flexibilidad y productividad generando modelos de calidad tanto en entrenamiento como en la puesta en producción.
Diseñar un conjunto de funcionalidades integradas en AITANA para la monitorización y detección de la degradación de la calidad de un modelo en producción.
Implementar las interfaces gráficas necesarias para dar soporte a las nuevas funcionalidades desarrolladas y que permitan a los científicos de datos poder evaluar detalladamente el estado de los modelos en producción y poder tomar decisiones dependiendo de los resultados mostrados de monitorización y de valores de calidad del modelo en producción.
Crear una prueba piloto demostrativa que permita a empresas TIC de la Comunitat Valenciana poder probar en un entorno lo más cercano a lo real las nuevas funcionalidades desarrolladas en AITANA-MoMo así como la herramienta general AITANA.

Los resultados principales del proyecto serán: un estudio del estado del arte detallado de las técnicas y procesos que se llevan a cabo para detectar y determinar de forma automática la degradación de los modelos y datos de entrada; y un innovador conjunto de herramientas y librerías que implementen dichas técnicas y procesos, integradas dentro del proyecto AITANA, que facilitarán la monitorización y detección de la degradación de los modelos de Inteligencia Artificial, proporcionando diferentes interfaces para el análisis de los resultados y monitorizaciones de los modelos permitiendo a los usuarios realizar los estudios necesarios para el control de calidad de los modelos desarrollados.

AITANA-MoMo va a contribuir a una clara mejora en los procesos de puesta en producción de aplicaciones basadas en IA/ML mediante una monitorización de los modelos y control de los mismos que permitirán a los científicos de datos una mejor calidad en los modelos desarrollados incrementando la expansión de la inteligencia artificial en la industria.