Modelo de reconstrucción de superresolución de imagen de teledetección de fusión espacio-temporal basado en transformadores de textura de doble rama y mecanismo de retroalimentación
Autores: Liu, Hui; Qian, Yurong; Yang, Guangqi; Jiang, Hao
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Modelo de reconstrucción de superresolución de imagen de teledetección de fusión espacio-temporal basado en transformadores de textura de doble rama y mecanismo de retroalimentación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Resolución espacio-temporal
Imágenes de teledetección
Tecnología de fusión espacio-temporal
Redes neuronales convolucionales
Proceso de aprendizaje profundo
Módulo transformador
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Alta resolución espacial-temporal juega un papel vital en la aplicación de la observancia y predicción dinámica de la geociencia. Sin embargo, gracias a las limitaciones de la tecnología y el presupuesto, es problemático para un detector de satélite obtener imágenes de teledetección de alta resolución espacial-temporal. Los individuos han desarrollado tecnología de fusión de imágenes espacio-temporales para resolver este inconveniente, y las imágenes de teledetección profundas con resolución espacio-temporal se han convertido en una respuesta posible y eficiente. Debido al tamaño fijo del campo receptivo de las redes neuronales convolucionales, las características extraídas por las operaciones de convolución no pueden capturar características de largo alcance, por lo que la correlación de características globales no puede ser modelada en el proceso de aprendizaje profundo. Proponemos un modelo de fusión espacio-temporal de imágenes de teledetección para resolver estos problemas basado en un mecanismo de retroalimentación de doble rama y transformador de textura. El modelo separa la red de las imágenes gruesas-fin con estructuras similares a través de la idea de doble rama y reduce la dependencia de las imágenes en series temporales. Principalmente fusiona las ventajas del transformador y la red convolucional y emplea mecanismo de retroalimentación y transformador de textura para extraer características de distinción espacial y temporal adicionales. La función principal del módulo transformador es aprender correlaciones temporales globales y fusionar características temporales con características espaciales. Para extraer completamente características elaboradas adicionales en varias etapas, diseñamos un módulo de mecanismo de retroalimentación. Este módulo principalmente perfecciona la representación de bajo nivel a través de la información de alto nivel y obtiene características más detalladas al considerar las características temporales y espaciales. Obtenemos buenos resultados en comparación con cuatro algoritmos típicos de fusión espacio-temporal, demostrando la superioridad y robustez de nuestro modelo.
Descripción
Alta resolución espacial-temporal juega un papel vital en la aplicación de la observancia y predicción dinámica de la geociencia. Sin embargo, gracias a las limitaciones de la tecnología y el presupuesto, es problemático para un detector de satélite obtener imágenes de teledetección de alta resolución espacial-temporal. Los individuos han desarrollado tecnología de fusión de imágenes espacio-temporales para resolver este inconveniente, y las imágenes de teledetección profundas con resolución espacio-temporal se han convertido en una respuesta posible y eficiente. Debido al tamaño fijo del campo receptivo de las redes neuronales convolucionales, las características extraídas por las operaciones de convolución no pueden capturar características de largo alcance, por lo que la correlación de características globales no puede ser modelada en el proceso de aprendizaje profundo. Proponemos un modelo de fusión espacio-temporal de imágenes de teledetección para resolver estos problemas basado en un mecanismo de retroalimentación de doble rama y transformador de textura. El modelo separa la red de las imágenes gruesas-fin con estructuras similares a través de la idea de doble rama y reduce la dependencia de las imágenes en series temporales. Principalmente fusiona las ventajas del transformador y la red convolucional y emplea mecanismo de retroalimentación y transformador de textura para extraer características de distinción espacial y temporal adicionales. La función principal del módulo transformador es aprender correlaciones temporales globales y fusionar características temporales con características espaciales. Para extraer completamente características elaboradas adicionales en varias etapas, diseñamos un módulo de mecanismo de retroalimentación. Este módulo principalmente perfecciona la representación de bajo nivel a través de la información de alto nivel y obtiene características más detalladas al considerar las características temporales y espaciales. Obtenemos buenos resultados en comparación con cuatro algoritmos típicos de fusión espacio-temporal, demostrando la superioridad y robustez de nuestro modelo.