Un algoritmo de fusión de imágenes de radar de apertura sintética y visible basado en un transformador y una red neuronal convolucional
Autores: Hu, Liushun; Su, Shaojing; Zuo, Zhen; Wei, Junyu; Huang, Siyang; Zhao, Zongqing; Tong, Xiaozhong; Yuan, Shudong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un algoritmo de fusión de imágenes de radar de apertura sintética y visible basado en un transformador y una red neuronal convolucional
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Visible
Radar de apertura sintética
Fusión de imágenes
Transformador
Red neuronal convolucional
Extractor de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Para la fusión de imágenes visibles y de Radar de Apertura Sintética (SAR), este artículo propone un algoritmo de fusión de imágenes visibles y SAR basado en un Transformador y una Red Neuronal Convolucional (CNN). Primero, en este artículo, se utiliza el Bloque Restormer para extraer características superficiales de modalidades cruzadas. Luego, presentamos un Extractor de Características Transformador-CNN (TCFE) mejorado con una estructura residual de dos ramas. Esto incluye una rama de Transformador que introduce el Transformador Lite (LT) y DropKey para extraer características globales y una rama de CNN que introduce el Módulo de Atención de Bloque Convolucional (CBAM) para extraer características locales. Finalmente, la imagen fusionada se produce en base a las características globales extraídas por la rama del Transformador y las características locales extraídas por la rama de CNN. Los experimentos muestran que el algoritmo propuesto en este artículo puede lograr de manera efectiva la extracción y fusión de características globales y locales de imágenes visibles y SAR, de modo que se puedan obtener imágenes de fusión de alta calidad visibles y SAR.
Descripción
Para la fusión de imágenes visibles y de Radar de Apertura Sintética (SAR), este artículo propone un algoritmo de fusión de imágenes visibles y SAR basado en un Transformador y una Red Neuronal Convolucional (CNN). Primero, en este artículo, se utiliza el Bloque Restormer para extraer características superficiales de modalidades cruzadas. Luego, presentamos un Extractor de Características Transformador-CNN (TCFE) mejorado con una estructura residual de dos ramas. Esto incluye una rama de Transformador que introduce el Transformador Lite (LT) y DropKey para extraer características globales y una rama de CNN que introduce el Módulo de Atención de Bloque Convolucional (CBAM) para extraer características locales. Finalmente, la imagen fusionada se produce en base a las características globales extraídas por la rama del Transformador y las características locales extraídas por la rama de CNN. Los experimentos muestran que el algoritmo propuesto en este artículo puede lograr de manera efectiva la extracción y fusión de características globales y locales de imágenes visibles y SAR, de modo que se puedan obtener imágenes de fusión de alta calidad visibles y SAR.