El proyecto aborda el desarrollo de un sistema de visión en tiempo real con capacidad de adaptación dinámica de sus características inherentes (por ejemplo el rango dinámico de los filtros espacio-temporales en los que se basan los modelos de visión de bajo nivel) para mejorar la capacidad de extracción de información. El sistema de visión está formado por una primera etapa de visión de bajo nivel (en el que se extraen modalidades visuales como movimiento, profundidad a partir de dos cámaras, características de cambios locales de contraste como magnitud, orientación y fase local, etc.) y una segunda etapa de fusión de estas primitivas en entidades multimodales dispersas. El sistema incluye lazos de realimentación (flujos de información/modelos proyectados hacia atrás) con los que el sistema puede modificar el procesamiento de imágenes en las distintas etapas que realizan la estructuración de información de acuerdo con primitivas detectadas con mayor confianza en las distintas etapas. La implementación en tiempo real de toda la plataforma utilizando procesamiento altamente paralelo en dispositivos de tipo FPGA permite su evaluación en el marco de aplicaciones reales.
El proyecto explora el potencial del sistema de visión en varios campos de aplicación en los que el grupo tiene experiencia. Nos hemos centrado en sistemas avanzados de visión para ayuda a la conducción. Evaluamos el potencial del sistema de visión de bajo y medio nivel en tiempo real con secuencias de conducción diurnas y nocturnas (tomadas con sensores específicos). Nos centramos en la detección de eventos relevantes (como objetos con movimiento independiente –OMIs- y estimación de dirección de ego-movimiento –heading-).
El proyecto se ha estructurado en los siguientes bloques de trabajo:
1. Desarrollo de arquitecturas de procesamiento de altas prestaciones para la extracción de características de bajo nivel
2. Integración y fusión dinámica de modalidades de bajo nivel
3. Esquemas de flujo de información hacia delante y hacia atrás para la integración y filtrado de información de distintos niveles de abstracción
4. Evaluación de los sistemas propuestos en campos de aplicación concretos. Nos centramos en sistemas avanzados de ayuda a la conducción
