
Fuente: IVVES
Objetivo del proyecto
Desarrollar enfoques de Inteligencia Artificial para una Verificación y Validación (V&V) robusta e integral de grado industrial de "IA integrada", es decir, de aprendizaje automático para el control de sistemas en evolución complejos y de misión crítica, cubriendo los principales sectores industriales de Europa.
Tareas generales del proyecto
WP1 - Uses Cases
Estudio de los casos de usos a utilizar para la validación de los diferentes enfoques de verificación y validación
WP2 - Validation Techniques for ML
Estudio del estado del arte y desarrollo de métodos de verificación y validación sobre aplicativos ML
WP3 - Validation Techniques for Complex Evolving Systems
Estudio del estado del arte y desarrollo de métodos de verificación y validación sobre aplicativos de IA que sean evolutivos
WP4 - Data-Driven Engineering
Estudio del estado del arte y desarrollo de métodos de verificación y validación cuya principal herramienta sea el uso o manejo de datos
WP5 - Framework & Methodology
Tareas para la generación de una plataforma común para el uso y explotación de las herramientas generadas dentro del proyecto
WP6 - Dissemination, Exploitation & Standardization
Plan de explotación y difusión de los resultados del proyecto
WP7 - Project Management
Tareas para la gestión común del proyecto, así como para la generación de toda la documentación de proyecto necesaria
Tareas desarrolladas por Keyland SdG
WP2 - Tarea 2.1 Calidad del modelo
Estudiamosdiferentes frameworks de eXplicabilidad de la IA (XAI). Finalmente se aplicó Local Interpretable Model-agnostic Explanations (LIME), que permite explicar el por qué un modelo genera una predicción utilizando la metáfora de la caja negra..
WP2 - Tarea 2.2 Calidad de los datos de entrenamiento
Realizamos un análisis del estado del arte sobre métodos y técnicas para evaluar y catalogar de forma dinámica la calidad de los datasets. De entre las referencias analizadas, implementamos la propuesta por ”Data Validation for ML”, artículo de E.Breck, N.Polyzotis, S.Roy, S.Euijong Whang y M.Zinkevich, que consiste en tres componentes principales, un Analizador de Datos , un Validador de Datos y un Componente de Testing de Modelo.
WP2 - Tarea 2.3 Técnicas de prueba para ML
Estudiamostécnicas para el uso industrial, tales como pruebas metamórficas, aprendizaje automático antagónico o validación de sesgos y equidad. Para ello, usamosel Adversarial Testing, técnica de aprendizaje automático que intenta engañar a los modelos para probar la robustez del sistema
WP3 - Tarea 3.1 Pruebas controladas por ML
Hicimos un análisis del estado del arte de técnicas de pruebas basadas en ML aplicables al contexto industrial, teniendo en cuenta los escenarios y casos de uso identificados en el proyecto, con un mayor enfoque en Industria 4.0Además, implementamos un módulo de monitorización y diagnóstico, con el que escaneamos el sistema para buscar posibles disfuncionamientos.
WP3 - Tarea 3.3 Pruebas y monitoreo en línea (Online Testing)
Desarrollamos una serie de métodos y herramientas para las pruebas en línea de los sistemas en evolución.. en la automatización del proceso de prueba, logramos pruebas continúas a través de técnicas de monitorización y de ML para la inferencia de modelos. Diseñamos a posteriori un modelo de identificación de anomalías basado en KDTree, Isolation Forest y Extended Isolation Forest.
WP4 - Tarea 4.2 Reconocimiento de patrones de mantenimiento predictivo y análisis de fallos
Hicimos uso de técnicas estadísticas basadas en aprendizaje automático para el análisis de los datos recopilados, la detección y construcción de patrones y la inferencia del modelo para los comportamientos y problemas comunes del sistema. Mejoramos la aportación del autocodificador disperso, y lo integramos con el módulo de monitorización, el de validación y las redes de generación adversarial, para poder hacer un sistema de predicción de la información.
WP4 - Tarea 4.3 Análisis de datos en ingeniería y operación
Esta tarea se ocupó del desarrollo basado en IA de sistemas en evolución y para ello, el consorcio desarrolló métodos y técnicas generales, pautas y servicios básicos. El enfoque principal fue apoyar el desarrollo de sistemas con menos fallas mejorando sus atributos de calidad, disponibilidad y confiabilidad. En este contexto, nos centramos en la integración del concepto, componentes y alcance de IVVES basándonos en CRISP-ML, modelo de proceso para el desarrollo del aprendizaje automático.
Resultados obtenidos
- Resultados obtenidos en el proyecto
- Web pública conjunta con los avances conseguidos a disposición del público general (https://learn.ivves.eu/) donde se accede a los desarrollos del proyecto para poder probarlos e incluso implementarlos en sistemas locales.
- Resultados obtenidos por Keyland SdG
- Investigación sobre los últimos avances respecto a temas de verificación y validación de sistemas inteligentes
- Sistema de validación y verificación de modelos de inteligencia agnóstica, que puede ser exportable a múltiples modelos de IA y que aumenta la robustez y fiabilidad del modelo a través del análisis de los datos, tanto entrantes como resultantes.
- Entidad financiadora: CDTi / ITEA3
- Presupuesto del proyecto: 23.185.000€
- Fecha de inicio: 01/10/2019
- Fecha de finalización: 01/12/2022
¿Quiénes componen el consorcio?
Los miembros del consorcio participantes en el proyecto están agrupados por países:
Canadá
- Centre de Recherche Informatique de Montréal.
- RHEA Technologies Lab Inc.
Finlandia
- Futurice.
- Philips Finlandia.
- Solita.
- Techila Technologies.
- University of Helsinki.
- VTT Technical Research Centre of Finland.
- F-Secure.
- Headai.
Países Bajos
- ING Groep N.V.
- InnSpire.
- Marviq.
- Philips Electronics Nederland BV.
- Praegus.
- Sogeti.
- Open University of The Netherlands.
España
- NETCheck.
- Concatel.
Suecia
- ABB.
- Addiva.
- ALSTOM Rail Sweeden (Bombardier).
- Ekkono Solutions.
- Prover Technology.
- RISE – Research Institutes of Sweden.

Fondo Europeo de Desarrollo Regional (FEDER)
“Una manera de hacer Europa”
