Estimación de Objetos de Saliencia Impulsada por Atención Humanoide en Escenas de Conducción Dinámicas
Autores: Jin, Lisheng; Ji, Bingdong; Guo, Baicang
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Estimación de Objetos de Saliencia Impulsada por Atención Humanoide en Escenas de Conducción Dinámicas
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Objeto
Importancia
Atención
Conductor
Predicción
Sistemas automatizados
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 17
Citaciones: Sin citaciones
Identificar un objeto notable y predecir su importancia frente a un vehículo son cruciales para la evaluación de riesgos y la toma de decisiones en sistemas automatizados. Sin embargo, la investigación actual rara vez ha explotado las características atencionales del conductor. En este estudio, proponemos un método de estimación de objetos de saliencia (SOE) impulsado por la atención que utiliza la intensidad de atención del conductor como criterio para determinar la saliencia e importancia de los objetos. Primero, diseñamos una red de predicción de atención del conductor (DAP) con una estructura de codificador-decodificador de convolución mixta 2D-3D. En segundo lugar, fusionamos la red DAP con faster R-CNN y YOLOv4 a nivel de características y las nombramos SOE-F y SOE-Y, respectivamente, utilizando una arquitectura de aprendizaje multitarea (MTL) de fondo compartido. Al transferir las características espaciales al eje temporal, podemos eliminar la desventaja de que las características de fondo se extraigan repetidamente y lograr una entrada de imagen-video uniforme en SOE-F y SOE-Y. Finalmente, los parámetros en SOE-F y SOE-Y se clasifican en dos categorías, invariante al dominio y adaptativa al dominio, y luego se entrenan y optimizan los parámetros adaptativos al dominio. Los resultados experimentales en el conjunto de datos DADA-2000 demuestran que el método propuesto supera a los métodos de última generación en varias métricas de evaluación y puede predecir con mayor precisión la atención del conductor. Además, impulsados por un mecanismo de atención similar al humano, SOE-F y SOE-Y pueden identificar y detectar la saliencia, categoría y ubicación de los objetos, proporcionando evaluación de riesgos y una base para la toma de decisiones en sistemas de conducción autónoma.
Descripción
Identificar un objeto notable y predecir su importancia frente a un vehículo son cruciales para la evaluación de riesgos y la toma de decisiones en sistemas automatizados. Sin embargo, la investigación actual rara vez ha explotado las características atencionales del conductor. En este estudio, proponemos un método de estimación de objetos de saliencia (SOE) impulsado por la atención que utiliza la intensidad de atención del conductor como criterio para determinar la saliencia e importancia de los objetos. Primero, diseñamos una red de predicción de atención del conductor (DAP) con una estructura de codificador-decodificador de convolución mixta 2D-3D. En segundo lugar, fusionamos la red DAP con faster R-CNN y YOLOv4 a nivel de características y las nombramos SOE-F y SOE-Y, respectivamente, utilizando una arquitectura de aprendizaje multitarea (MTL) de fondo compartido. Al transferir las características espaciales al eje temporal, podemos eliminar la desventaja de que las características de fondo se extraigan repetidamente y lograr una entrada de imagen-video uniforme en SOE-F y SOE-Y. Finalmente, los parámetros en SOE-F y SOE-Y se clasifican en dos categorías, invariante al dominio y adaptativa al dominio, y luego se entrenan y optimizan los parámetros adaptativos al dominio. Los resultados experimentales en el conjunto de datos DADA-2000 demuestran que el método propuesto supera a los métodos de última generación en varias métricas de evaluación y puede predecir con mayor precisión la atención del conductor. Además, impulsados por un mecanismo de atención similar al humano, SOE-F y SOE-Y pueden identificar y detectar la saliencia, categoría y ubicación de los objetos, proporcionando evaluación de riesgos y una base para la toma de decisiones en sistemas de conducción autónoma.