logo móvil
Contáctanos

La fusión de imágenes infrarrojas y visibles basada en máscara y fusión cruzada dinámica

Autores: Fu, Qiang; Fu, Hanxiang; Wu, Yuezhou

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

La fusión de imágenes infrarrojas y visibles basada en máscara y fusión cruzada dinámica


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Limitaciones
Tecnología de fusión
Aprendizaje profundo
MCDFN
Fusión adaptativa
Red

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 47

Citaciones: Sin citaciones


Descripción
Tanto las imágenes infrarrojas individuales como las visibles tienen limitaciones respectivas. La tecnología de fusión se ha desarrollado para superar estas restricciones. Está diseñada para generar una imagen fusionada con información infrarroja y detalles de textura. La mayoría de los métodos de fusión tradicionales utilizan estrategias de fusión diseñadas manualmente, pero algunas son demasiado rudimentarias y tienen un rendimiento de fusión limitado. Recientemente, algunos investigadores han propuesto métodos de fusión basados en aprendizaje profundo, pero algunas redes de fusión tempranas no pueden fusionar imágenes de forma adaptativa debido a un diseño poco razonable. Por lo tanto, proponemos una red basada en fusión dinámica de máscara y cruz llamada MCDFN. Esta red conserva de forma adaptativa las características más relevantes de las imágenes infrarrojas y los detalles de textura de las imágenes visibles a través de un proceso de fusión de extremo a extremo. Específicamente, diseñamos una red de fusión de dos etapas. En la primera etapa, entrenamos la red autoencoder para que el codificador y el decodificador aprendan capacidades de extracción de características y reconstrucción. En la segunda etapa, el autoencoder se fija y empleamos una estrategia de fusión que combina máscara y fusión dinámica cruzada para entrenar toda la red de fusión. Esta estrategia es propicia para la fusión adaptativa de información de imagen entre imágenes infrarrojas e imágenes visibles en múltiples dimensiones. En el conjunto de datos público de TNO y en el conjunto de datos RoadScene, seleccionamos nueve métodos de fusión diferentes para comparar con nuestro método propuesto. Los resultados experimentales muestran que nuestro método de fusión propuesto logra buenos resultados en ambos conjuntos de datos.

Otros recursos que podrían interesarte

Temas Virtualpro