Avances en Ingeniería del Automóvil
Acceso abierto

abstracto

Hacia una comprensión holística de la escena en la conducción autónoma

Panagiotis Meletis

La comprensión holística de la escena es un componente vital de los vehículos autónomos del futuro. Es crucial que esos vehículos sean capaces de comprender e interpretar su entorno para poder conducir con seguridad. Esto requiere una detección precisa de los objetos circundantes (vehículos, personas, objetos de tráfico, naturaleza), discriminación entre superficies transitables y no transitables (carretera, acera, edificios) y segmentación de objetos estáticos y dinámicos en clases semánticas de alto nivel. En el pasado, la visión por computadora ha abordado estos problemas por separado debido a su complejidad y altas necesidades computacionales. Hoy en día, los sistemas basados en el aprendizaje profundo se entrenan en conjuntos de datos anotados manualmente para resolver estos problemas, sin embargo, enfrentan múltiples desafíos: 1) el número de clases semánticas anotadas está limitado por los conjuntos de datos disponibles a unas pocas docenas, lo que reduce la variedad de objetos reconocibles, 2 ) la densidad de las anotaciones es inversamente proporcional al tamaño de los conjuntos de datos, lo que hace que un gran conjunto de datos sea incompatible para una segmentación precisa, y 3) la detección y la segmentación se resuelven por separado, lo que conduce a una mayor demanda de memoria y computación. Nuestra investigación aborda los desafíos antes mencionados al proponer nuevos métodos para: 1) entrenar una sola red en múltiples conjuntos de datos con diferentes clases semánticas y diferentes tipos de anotaciones, y 2) resolver simultáneamente con una sola red los problemas de detección y segmentación semántica. Hemos implementado esas redes en nuestro automóvil de conducción autónoma con rendimiento en tiempo real. Demostramos resultados de vanguardia, junto con un aumento de cinco veces en el número de clases reconocibles, e integramos de manera eficiente la detección y la segmentación en un sistema de segmentación panóptico conjunto, dando pasos importantes para lograr una comprensión holística de la escena.