Omofuse: un modelo de mecanismo de doble atención optimizado para fusión de imágenes infrarrojas y visibles
Autores: Yuan, Jianye; Li, Song
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Omofuse: un modelo de mecanismo de doble atención optimizado para fusión de imágenes infrarrojas y visibles
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Infrarrojo
Fusión de imágenes visibles
Información contextual
Mecanismos de atención
Algoritmo de fusión de imágenes
Extracción de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
La fusión de imágenes infrarrojas y visibles tiene como objetivo fusionar la información térmica de las imágenes infrarrojas y la información de textura de las imágenes visibles en imágenes que se ajusten más a las características de percepción visual de las personas. Sin embargo, en los trabajos relacionados existentes, las imágenes fusionadas tienen información contextual incompleta y resultados de fusión pobres. Este artículo presenta un nuevo algoritmo de fusión de imágenes - OMOFuse. En primer lugar, se optimizan los mecanismos de atención de canal y espacial mediante un mecanismo de atención de doble canal (DCA) y un mecanismo de atención espacial mejorado (ESA). Luego, se construye un módulo de mecanismo de doble atención optimizado (ODAM) para mejorar aún más el efecto de integración. Además, se utiliza un módulo MO para mejorar la capacidad de extracción de características de red para la información contextual. Finalmente, existe la función de pérdida de las tres partes de SSL (pérdida de similitud estructural), PL (pérdida perceptual) y GL (pérdida de brecha). Se realizan experimentos extensos en tres conjuntos de datos principales para demostrar que OMOFuse supera a los métodos de fusión de imágenes existentes en términos de determinación cuantitativa, detección cualitativa y capacidades de generalización superiores. Se proporcionan más pruebas de la efectividad de nuestro algoritmo en este estudio.
Descripción
La fusión de imágenes infrarrojas y visibles tiene como objetivo fusionar la información térmica de las imágenes infrarrojas y la información de textura de las imágenes visibles en imágenes que se ajusten más a las características de percepción visual de las personas. Sin embargo, en los trabajos relacionados existentes, las imágenes fusionadas tienen información contextual incompleta y resultados de fusión pobres. Este artículo presenta un nuevo algoritmo de fusión de imágenes - OMOFuse. En primer lugar, se optimizan los mecanismos de atención de canal y espacial mediante un mecanismo de atención de doble canal (DCA) y un mecanismo de atención espacial mejorado (ESA). Luego, se construye un módulo de mecanismo de doble atención optimizado (ODAM) para mejorar aún más el efecto de integración. Además, se utiliza un módulo MO para mejorar la capacidad de extracción de características de red para la información contextual. Finalmente, existe la función de pérdida de las tres partes de SSL (pérdida de similitud estructural), PL (pérdida perceptual) y GL (pérdida de brecha). Se realizan experimentos extensos en tres conjuntos de datos principales para demostrar que OMOFuse supera a los métodos de fusión de imágenes existentes en términos de determinación cuantitativa, detección cualitativa y capacidades de generalización superiores. Se proporcionan más pruebas de la efectividad de nuestro algoritmo en este estudio.