logo móvil
Contáctanos

Un red de emparejamiento de imágenes de detección remota adaptativo basado en atención cruzada y convolución deformable

Autores: Chen, Peiyan; Fu, Ying; Hu, Jinrong; He, Bing; Wu, Xi; Zhou, Jiliu

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un red de emparejamiento de imágenes de detección remota adaptativo basado en atención cruzada y convolución deformable


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Cambios significativos en el fondo
Correspondencias espaciales complejas
Imágenes de teledetección multimodal
Convolución deformable
Atención cruzada
Algoritmo de emparejamiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
Existen cambios significativos en el fondo y complejas correspondencias espaciales entre imágenes de sensores remotos multi-modales, y es difícil para los métodos existentes extraer características comunes entre las imágenes de manera efectiva, lo que conduce a resultados de coincidencia pobres. Para mejorar el efecto de coincidencia, se extraen características con alta robustez; este artículo propone un algoritmo de coincidencia de sensores remotos multi-temporales CMRM (coincidencia de sensores remotos multi-modales basada en CNN) basado en convolución deformable y atención cruzada. Primero, basado en la red principal VGG16, se construye Deformable VGG16 (DeVgg) mediante la introducción de convoluciones deformables para adaptarse a distorsiones geométricas significativas en imágenes de sensores remotos de diferentes formas y escalas; segundo, las características extraídas de DeVgg se introducen en el módulo de atención cruzada para capturar mejor la correspondencia espacial de imágenes con cambios en el fondo; y finalmente, se extraen los puntos clave y los descriptores correspondientes del mapa de características de salida. En la etapa de coincidencia de características, para resolver el problema de la mala calidad de coincidencia de los puntos característicos, se utiliza BFMatcher para el registro aproximado, y luego se utiliza el algoritmo RANSAC con umbral adaptativo para la restricción. El algoritmo propuesto en este artículo tiene un buen rendimiento en el conjunto de datos público HPatches, con valores de MMA de 0.672, 0.710 y 0.785 cuando se selecciona el umbral como 3-5. Los resultados muestran que en comparación con los métodos existentes, nuestro método mejora la precisión de coincidencia de imágenes de sensores remotos multi-modales.

Otros recursos que podrían interesarte

Temas Virtualpro