SAVANT

El objetivo general del proyecto es el de desarrollar, implementar y validar sistemas avanzados de visión y sonido artificiales y neuromórficos en sistemas industriales y robóticos para mejorar la detección, clasificación y análisis de eventos en tiempo real, optimizar procesos y garantizar la seguridad de los sistemas desplegados en el edge. También forma parte de los objetivos generales de este proyecto ampliar la librería de implementaciones de redes neuronales tipo Spiking (SNNs, Spiking Neural Networks) de ITI, incorporando nuevos modelos del estado del arte con los que ITI no ha trabajado previamente y validándolos en los entornos industriales considerados en este proyecto. Esto permitirá a ITI ampliar sus capacidades para resolver problemas diversos y abordar nuevas casuísticas en distintos sectores productivos.

En cuanto a objetivos específicos el proyecto aborda:

• Implementación de visión y sonido neuromórficos en robótica industrial
  • Desarrollar un sistema de visión y sonido artificiales basado en tecnologías neuromórficas para su integración en plataformas robóticas.
  • Explorar, entrenar e implementar SNNs del estado del arte con las que ITI no ha trabajado previamente, ampliando su biblioteca de modelos y capacidades de aplicación.
  • Colaborar con entidades externas en la implementación de estas SNNs en hardware FPGA, evaluando su viabilidad para procesamiento en tiempo real y sentando las bases para futuras integraciones completas en hardware.
  • Validar la funcionalidad del sistema en un robot rover cedido por empresas colaboradoras, permitiendo a la empresa evaluar el desempeño de estas tecnologías en su plataforma.
• Optimización de procesos en biofábricas mediante visión y sonido artificiales
  • Desarrollar sistemas de visión y sonido para la clasificación, conteo y monitoreo de insectos en biofábricas.
  • Implementar visión neuromórfica y SNNs del estado del arte con las que ITI no ha trabajado previamente, específicamente para la clasificación y conteo de pupas y larvas de mosquito en medios acuosos.
  • Diseñar un sistema de monitoreo de sonido para evaluar la capacidad de vuelo de mosquitos en la Técnica del Insecto Estéril (TIE), explorando el uso de datos neuromórficos y SNNs como alternativa a modelos tradicionales de IA.
  • Aplicar análisis de imagen basado en IA para el control de calidad de pupas y huevos de mosquito dentro de una biofábrica.
  • Implementar, mediante visión neuromórfica y nuevas SNNs del estado del arte con las que ITI no ha trabajado previamente, un sistema para el conteo automático de larvas de Tenebrio molitor, que sirva para optimizar procesos que actualmente se realizan de forma manual o mediante estimaciones volumétricas.
  • Validar las soluciones con empresas colaboradoras en sus biofábricas, garantizando la aplicabilidad de los desarrollos en entornos relevantes.
• Seguridad y resiliencia en sistemas de análisis de sonido en entornos industriales
  • Evaluar vulnerabilidades en los entornos de ejecución de los modelos de IA para análisis de sonido en sistemas desplegados en el edge.
  • Desarrollar y validar estrategias de protección para mejorar la seguridad y fiabilidad de estos sistemas.
  • Validación de estas estrategias en entornos industriales reales.