MFMG-Net: Red de Guía Mutua de Características Multiespectrales para la Detección de Objetos Visibles-Infrarrojos
Autores: Zhao, Fei; Lou, Wenzhong; Feng, Hengzhen; Ding, Nanxi; Li, Chenglong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
MFMG-Net: Red de Guía Mutua de Características Multiespectrales para la Detección de Objetos Visibles-Infrarrojos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Drones
Sensores
Multispectral
Extracción de características
Aumento de datos
Supervisión urbana
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los drones equipados con sensores visibles e infrarrojos desempeñan un papel vital en la supervisión de carreteras urbanas. Sin embargo, los métodos convencionales que utilizan pares de imágenes RGB-IR a menudo tienen dificultades para extraer características efectivas. Estos métodos tratan estos espectros de manera independiente, perdiendo los beneficios potenciales de su interacción y la información complementaria. Para abordar estos desafíos, diseñamos la Red de Guía Mutua de Características Multiespectrales (MFMG-Net). Para prevenir sesgos de aprendizaje entre espectros, hemos desarrollado una técnica de Aumento de Datos (DA) basada en la estrategia de máscara. El módulo MFMG está incrustado entre dos redes de base, promoviendo el intercambio de información de características entre espectros para mejorar la extracción. También diseñamos un módulo de Fusión de Características de Doble Rama (DBFF) basado en mecanismos de atención, que permite la fusión profunda de características al enfatizar las correlaciones entre los dos espectros en las dimensiones de canal de características y espacio. Finalmente, las características fusionadas se alimentan a la red de cuello y a la cabeza de detección, produciendo resultados de inferencia finales. Nuestros experimentos, realizados en el conjunto de datos de Imágenes Aéreas (VEDAI) y otros dos conjuntos de datos públicos (M3FD y LLVIP), muestran el rendimiento superior de nuestro método y la efectividad de MFMG en la mejora de la extracción de características multiespectrales para la detección de terrenos con drones.
Descripción
Los drones equipados con sensores visibles e infrarrojos desempeñan un papel vital en la supervisión de carreteras urbanas. Sin embargo, los métodos convencionales que utilizan pares de imágenes RGB-IR a menudo tienen dificultades para extraer características efectivas. Estos métodos tratan estos espectros de manera independiente, perdiendo los beneficios potenciales de su interacción y la información complementaria. Para abordar estos desafíos, diseñamos la Red de Guía Mutua de Características Multiespectrales (MFMG-Net). Para prevenir sesgos de aprendizaje entre espectros, hemos desarrollado una técnica de Aumento de Datos (DA) basada en la estrategia de máscara. El módulo MFMG está incrustado entre dos redes de base, promoviendo el intercambio de información de características entre espectros para mejorar la extracción. También diseñamos un módulo de Fusión de Características de Doble Rama (DBFF) basado en mecanismos de atención, que permite la fusión profunda de características al enfatizar las correlaciones entre los dos espectros en las dimensiones de canal de características y espacio. Finalmente, las características fusionadas se alimentan a la red de cuello y a la cabeza de detección, produciendo resultados de inferencia finales. Nuestros experimentos, realizados en el conjunto de datos de Imágenes Aéreas (VEDAI) y otros dos conjuntos de datos públicos (M3FD y LLVIP), muestran el rendimiento superior de nuestro método y la efectividad de MFMG en la mejora de la extracción de características multiespectrales para la detección de terrenos con drones.