La fusión de imágenes infrarrojas y visibles basada en máscara y fusión cruzada dinámica
Autores: Fu, Qiang; Fu, Hanxiang; Wu, Yuezhou
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
La fusión de imágenes infrarrojas y visibles basada en máscara y fusión cruzada dinámica
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Limitaciones
Tecnología de fusión
Aprendizaje profundo
MCDFN
Fusión adaptativa
Red
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 47
Citaciones: Sin citaciones
Tanto las imágenes infrarrojas individuales como las visibles tienen limitaciones respectivas. La tecnología de fusión se ha desarrollado para superar estas restricciones. Está diseñada para generar una imagen fusionada con información infrarroja y detalles de textura. La mayoría de los métodos de fusión tradicionales utilizan estrategias de fusión diseñadas manualmente, pero algunas son demasiado rudimentarias y tienen un rendimiento de fusión limitado. Recientemente, algunos investigadores han propuesto métodos de fusión basados en aprendizaje profundo, pero algunas redes de fusión tempranas no pueden fusionar imágenes de forma adaptativa debido a un diseño poco razonable. Por lo tanto, proponemos una red basada en fusión dinámica de máscara y cruz llamada MCDFN. Esta red conserva de forma adaptativa las características más relevantes de las imágenes infrarrojas y los detalles de textura de las imágenes visibles a través de un proceso de fusión de extremo a extremo. Específicamente, diseñamos una red de fusión de dos etapas. En la primera etapa, entrenamos la red autoencoder para que el codificador y el decodificador aprendan capacidades de extracción de características y reconstrucción. En la segunda etapa, el autoencoder se fija y empleamos una estrategia de fusión que combina máscara y fusión dinámica cruzada para entrenar toda la red de fusión. Esta estrategia es propicia para la fusión adaptativa de información de imagen entre imágenes infrarrojas e imágenes visibles en múltiples dimensiones. En el conjunto de datos público de TNO y en el conjunto de datos RoadScene, seleccionamos nueve métodos de fusión diferentes para comparar con nuestro método propuesto. Los resultados experimentales muestran que nuestro método de fusión propuesto logra buenos resultados en ambos conjuntos de datos.
Descripción
Tanto las imágenes infrarrojas individuales como las visibles tienen limitaciones respectivas. La tecnología de fusión se ha desarrollado para superar estas restricciones. Está diseñada para generar una imagen fusionada con información infrarroja y detalles de textura. La mayoría de los métodos de fusión tradicionales utilizan estrategias de fusión diseñadas manualmente, pero algunas son demasiado rudimentarias y tienen un rendimiento de fusión limitado. Recientemente, algunos investigadores han propuesto métodos de fusión basados en aprendizaje profundo, pero algunas redes de fusión tempranas no pueden fusionar imágenes de forma adaptativa debido a un diseño poco razonable. Por lo tanto, proponemos una red basada en fusión dinámica de máscara y cruz llamada MCDFN. Esta red conserva de forma adaptativa las características más relevantes de las imágenes infrarrojas y los detalles de textura de las imágenes visibles a través de un proceso de fusión de extremo a extremo. Específicamente, diseñamos una red de fusión de dos etapas. En la primera etapa, entrenamos la red autoencoder para que el codificador y el decodificador aprendan capacidades de extracción de características y reconstrucción. En la segunda etapa, el autoencoder se fija y empleamos una estrategia de fusión que combina máscara y fusión dinámica cruzada para entrenar toda la red de fusión. Esta estrategia es propicia para la fusión adaptativa de información de imagen entre imágenes infrarrojas e imágenes visibles en múltiples dimensiones. En el conjunto de datos público de TNO y en el conjunto de datos RoadScene, seleccionamos nueve métodos de fusión diferentes para comparar con nuestro método propuesto. Los resultados experimentales muestran que nuestro método de fusión propuesto logra buenos resultados en ambos conjuntos de datos.