Estimación de homografía de grueso a fino para imágenes infrarrojas y visibles
Autores: Wang, Xingyi; Luo, Yinhui; Fu, Qiang; He, Yuanqing; Shu, Chang; Wu, Yuezhou; Liao, Yanhao
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estimación de homografía de grueso a fino para imágenes infrarrojas y visibles
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Estimación de homografía
Infrarrojo
Imágenes visibles
Estrategia de grueso a fino
Redes neuronales
No supervisado
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 54
Citaciones: Sin citaciones
La estimación de homografías para imágenes infrarrojas y visibles es una tarea crítica y fundamental en el procesamiento de imágenes multimodal. Recientemente, la estrategia de grueso a fino ha sido aplicada gradualmente a la tarea de estimación de homografías y ha demostrado ser efectiva. Sin embargo, los métodos actuales de estimación de homografías de grueso a fino típicamente requieren la introducción de redes neuronales adicionales para adquirir mapas de características multi-escala y el diseño de estrategias de fusión de matrices de homografía complejas. En este documento, proponemos un nuevo método de estimación de homografías no supervisado para imágenes infrarrojas y visibles. Primero, diseñamos una estrategia de grueso a fino novedosa. Esta estrategia utiliza diferentes etapas en la red de regresión para obtener mapas de características multi-escala, lo que permite el refinamiento progresivo de la matriz de homografía. En segundo lugar, diseñamos un transformador de correlación local (LCTrans), que tiene como objetivo capturar las conexiones intrínsecas entre características locales de manera más precisa, resaltando así las características cruciales para la estimación de homografías. Finalmente, diseñamos una pérdida de correlación de características promedio (AFCL) para mejorar la robustez del modelo. A través de experimentos extensos, validamos la efectividad de todos los componentes propuestos. Los resultados experimentales demuestran que nuestro método supera a los métodos existentes en conjuntos de datos de referencia sintéticos en comparaciones cualitativas y cuantitativas.
Descripción
La estimación de homografías para imágenes infrarrojas y visibles es una tarea crítica y fundamental en el procesamiento de imágenes multimodal. Recientemente, la estrategia de grueso a fino ha sido aplicada gradualmente a la tarea de estimación de homografías y ha demostrado ser efectiva. Sin embargo, los métodos actuales de estimación de homografías de grueso a fino típicamente requieren la introducción de redes neuronales adicionales para adquirir mapas de características multi-escala y el diseño de estrategias de fusión de matrices de homografía complejas. En este documento, proponemos un nuevo método de estimación de homografías no supervisado para imágenes infrarrojas y visibles. Primero, diseñamos una estrategia de grueso a fino novedosa. Esta estrategia utiliza diferentes etapas en la red de regresión para obtener mapas de características multi-escala, lo que permite el refinamiento progresivo de la matriz de homografía. En segundo lugar, diseñamos un transformador de correlación local (LCTrans), que tiene como objetivo capturar las conexiones intrínsecas entre características locales de manera más precisa, resaltando así las características cruciales para la estimación de homografías. Finalmente, diseñamos una pérdida de correlación de características promedio (AFCL) para mejorar la robustez del modelo. A través de experimentos extensos, validamos la efectividad de todos los componentes propuestos. Los resultados experimentales demuestran que nuestro método supera a los métodos existentes en conjuntos de datos de referencia sintéticos en comparaciones cualitativas y cuantitativas.