Detección peatonal multispectral de fusión diferencial de modos cruzados consciente de la iluminación
Autores: Wang, Chishe; Qian, Jinjin; Wang, Jie; Chen, Yuting
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Detección peatonal multispectral de fusión diferencial de modos cruzados consciente de la iluminación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de peatones
Condiciones de poca luz
Iluminación
Fusión de modalidades cruzadas
Mecanismo de atención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
La tecnología de fusión de información multiespectral es un enfoque práctico para mejorar el rendimiento de detección de peatones en condiciones de poca luz. Sin embargo, los métodos actuales a menudo pasan por alto el impacto de la iluminación en los pesos modales y la importancia de la información diferencial intermodal. Por lo tanto, este documento propone un modelo novedoso de fusión diferencial de intermodalidad consciente de la iluminación (IACMDF). Los pesos de las diferentes modalidades en la etapa de fusión se ajustan de forma adaptativa según la intensidad de iluminación de la escena actual. Por otro lado, las ventajas de las respectivas modalidades se potencian completamente al amplificar la información diferencial y suprimir la similitud de las modalidades gemelas. Además, para reducir el problema de pérdida causado por la importancia ocupada por diferentes canales del mapa de características en el proceso de agrupamiento convolucional, este trabajo añade el mecanismo de atención de apretar-y-excitación después del proceso de fusión. Los experimentos en el conjunto de datos multiespectral público KAIST han demostrado que la tasa promedio de error de omisión de nuestro método se reduce sustancialmente en comparación con el modelo base.
Descripción
La tecnología de fusión de información multiespectral es un enfoque práctico para mejorar el rendimiento de detección de peatones en condiciones de poca luz. Sin embargo, los métodos actuales a menudo pasan por alto el impacto de la iluminación en los pesos modales y la importancia de la información diferencial intermodal. Por lo tanto, este documento propone un modelo novedoso de fusión diferencial de intermodalidad consciente de la iluminación (IACMDF). Los pesos de las diferentes modalidades en la etapa de fusión se ajustan de forma adaptativa según la intensidad de iluminación de la escena actual. Por otro lado, las ventajas de las respectivas modalidades se potencian completamente al amplificar la información diferencial y suprimir la similitud de las modalidades gemelas. Además, para reducir el problema de pérdida causado por la importancia ocupada por diferentes canales del mapa de características en el proceso de agrupamiento convolucional, este trabajo añade el mecanismo de atención de apretar-y-excitación después del proceso de fusión. Los experimentos en el conjunto de datos multiespectral público KAIST han demostrado que la tasa promedio de error de omisión de nuestro método se reduce sustancialmente en comparación con el modelo base.