DFA-Net: Red Densa de Características Multi-escala Consciente a Través de Atención Integrada para la Fusión de Imágenes Infrarrojas y Visibles de Vehículos Aéreos No Tripulados
Autores: Shen, Sen; Li, Di; Mei, Liye; Xu, Chuan; Ye, Zhaoyi; Zhang, Qi; Hong, Bo; Yang, Wei; Wang, Ying
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
DFA-Net: Red Densa de Características Multi-escala Consciente a Través de Atención Integrada para la Fusión de Imágenes Infrarrojas y Visibles de Vehículos Aéreos No Tripulados
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Infrarrojo
Imágenes visibles
Fusión
UAV
Red consciente de características
Multi-escala
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La fusión de imágenes infrarrojas y visibles tomadas por un vehículo aéreo no tripulado (VANT) es una tarea desafiante, ya que las imágenes infrarrojas distinguen el objetivo del fondo por la diferencia en la radiación infrarroja, mientras que la baja resolución también produce un efecto menos pronunciado. Por otro lado, el espectro de luz visible tiene una alta resolución espacial y una rica textura; sin embargo, se ve fácilmente afectado por condiciones climáticas adversas como la baja luminosidad. Por lo tanto, la fusión de luz infrarroja y visible tiene el potencial de proporcionar ventajas complementarias. En este artículo, proponemos una red densa consciente de características a múltiples escalas a través de atención integrada para la fusión de imágenes infrarrojas y visibles, denominada DFA-Net. En primer lugar, construimos un codificador de doble canal para extraer las características profundas de las imágenes infrarrojas y visibles. En segundo lugar, adoptamos un decodificador anidado para integrar adecuadamente las características de varias escalas del codificador con el fin de realizar la representación de características a múltiples escalas de la textura de detalle de la imagen visible y del objetivo saliente de la imagen infrarroja. Luego, presentamos una red consciente de características a través de atención integrada para fusionar aún más la información de características de diferentes escalas, que puede centrarse en características ventajosas específicas de las imágenes infrarrojas y visibles. Finalmente, utilizamos estimación de gradiente no supervisada y pérdida de intensidad para aprender características de fusión significativas de imágenes infrarrojas y visibles. Además, nuestro enfoque DFA-Net propuesto aborda los desafíos de fusionar imágenes infrarrojas y visibles capturadas por un VANT. Los resultados muestran que DFA-Net logró un excelente rendimiento de fusión de imágenes en nueve índices de evaluación cuantitativa en un entorno de baja luminosidad.
Descripción
La fusión de imágenes infrarrojas y visibles tomadas por un vehículo aéreo no tripulado (VANT) es una tarea desafiante, ya que las imágenes infrarrojas distinguen el objetivo del fondo por la diferencia en la radiación infrarroja, mientras que la baja resolución también produce un efecto menos pronunciado. Por otro lado, el espectro de luz visible tiene una alta resolución espacial y una rica textura; sin embargo, se ve fácilmente afectado por condiciones climáticas adversas como la baja luminosidad. Por lo tanto, la fusión de luz infrarroja y visible tiene el potencial de proporcionar ventajas complementarias. En este artículo, proponemos una red densa consciente de características a múltiples escalas a través de atención integrada para la fusión de imágenes infrarrojas y visibles, denominada DFA-Net. En primer lugar, construimos un codificador de doble canal para extraer las características profundas de las imágenes infrarrojas y visibles. En segundo lugar, adoptamos un decodificador anidado para integrar adecuadamente las características de varias escalas del codificador con el fin de realizar la representación de características a múltiples escalas de la textura de detalle de la imagen visible y del objetivo saliente de la imagen infrarroja. Luego, presentamos una red consciente de características a través de atención integrada para fusionar aún más la información de características de diferentes escalas, que puede centrarse en características ventajosas específicas de las imágenes infrarrojas y visibles. Finalmente, utilizamos estimación de gradiente no supervisada y pérdida de intensidad para aprender características de fusión significativas de imágenes infrarrojas y visibles. Además, nuestro enfoque DFA-Net propuesto aborda los desafíos de fusionar imágenes infrarrojas y visibles capturadas por un VANT. Los resultados muestran que DFA-Net logró un excelente rendimiento de fusión de imágenes en nueve índices de evaluación cuantitativa en un entorno de baja luminosidad.