TFI-Fusión: Red de Interacción de Características de Triple Flujo Jerárquico para la Fusión de Imágenes Infrarrojas y Visibles
Autores: Zhao, Mingyang; Su, Shaochen; Li, Hao
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
TFI-Fusión: Red de Interacción de Características de Triple Flujo Jerárquico para la Fusión de Imágenes Infrarrojas y Visibles
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Tecnología
Red de fusión
Jerárquico
Interacción de características
Optimización multiobjetivo
Detalles de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Como una tecnología clave en el procesamiento de información multimodal, la fusión de imágenes infrarrojas y visibles tiene un valor de aplicación significativo en campos como el reconocimiento militar, la seguridad inteligente y la conducción autónoma. Para abordar las limitaciones de los métodos existentes, este documento propone la Red de Fusión de Interacción de Triple Característica Jerárquica (TFI-Fusion). Basada en un mecanismo de interacción de características de triple flujo jerárquico, la red logra una fusión de alta calidad a través de un enfoque de procesamiento de modelo separado en dos etapas: en la primera etapa, un solo modelo extrae componentes de bajo rango (que representan características estructurales globales) y componentes dispersos (que representan características de detalle locales) de las imágenes fuente a través del módulo de Descomposición Escasa de Bajo Rango (LSRSD), mientras captura características compartidas entre modalidades utilizando el Extractor de Características Compartidas (SFE). En la segunda etapa, otro modelo realiza la fusión y reconstrucción: primero mejora la complementariedad entre las características de bajo rango y dispersas a través del módulo de Interacción Bi-Característica (BFI) introducido de manera innovadora, realiza la fusión de características a múltiples niveles a través del módulo de Interacción de Triple Característica (TFI) y finalmente genera imágenes fusionadas con una rica representación de la escena a través de la reconstrucción de características. Este diseño de modelo separado reduce el uso de memoria y mejora la velocidad operativa. Además, se diseña una función de optimización multiobjetivo basada en las características de la red. Los experimentos demuestran que TFI-Fusion exhibe un excelente rendimiento de fusión, preservando efectivamente los detalles de la imagen y mejorando la complementariedad de las características, proporcionando así un soporte de datos visuales confiable para tareas posteriores.
Descripción
Como una tecnología clave en el procesamiento de información multimodal, la fusión de imágenes infrarrojas y visibles tiene un valor de aplicación significativo en campos como el reconocimiento militar, la seguridad inteligente y la conducción autónoma. Para abordar las limitaciones de los métodos existentes, este documento propone la Red de Fusión de Interacción de Triple Característica Jerárquica (TFI-Fusion). Basada en un mecanismo de interacción de características de triple flujo jerárquico, la red logra una fusión de alta calidad a través de un enfoque de procesamiento de modelo separado en dos etapas: en la primera etapa, un solo modelo extrae componentes de bajo rango (que representan características estructurales globales) y componentes dispersos (que representan características de detalle locales) de las imágenes fuente a través del módulo de Descomposición Escasa de Bajo Rango (LSRSD), mientras captura características compartidas entre modalidades utilizando el Extractor de Características Compartidas (SFE). En la segunda etapa, otro modelo realiza la fusión y reconstrucción: primero mejora la complementariedad entre las características de bajo rango y dispersas a través del módulo de Interacción Bi-Característica (BFI) introducido de manera innovadora, realiza la fusión de características a múltiples niveles a través del módulo de Interacción de Triple Característica (TFI) y finalmente genera imágenes fusionadas con una rica representación de la escena a través de la reconstrucción de características. Este diseño de modelo separado reduce el uso de memoria y mejora la velocidad operativa. Además, se diseña una función de optimización multiobjetivo basada en las características de la red. Los experimentos demuestran que TFI-Fusion exhibe un excelente rendimiento de fusión, preservando efectivamente los detalles de la imagen y mejorando la complementariedad de las características, proporcionando así un soporte de datos visuales confiable para tareas posteriores.