Estimación de homografía de imagen infrarroja y visible utilizando una red generativa adversarial multinivel
Autores: Luo, Yinhui; Wang, Xingyi; Wu, Yuezhou; Shu, Chang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estimación de homografía de imagen infrarroja y visible utilizando una red generativa adversarial multinivel
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Visión por computadora
Estimación de homografía
Infrarrojo
Imágenes visibles
Aprendizaje profundo
Red Generativa Adversaria Multiescala
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
En visión por computadora, la estimación de homografía de imágenes de múltiples fuentes infrarrojas y visibles basada en aprendizaje profundo es un tema de investigación actual. Los métodos de estimación de homografía existentes ignoran las diferencias de características de las imágenes de múltiples fuentes, lo que conduce a un rendimiento deficiente de homografía en escenas de imágenes infrarrojas y visibles. Para abordar este problema, diseñamos un método de estimación de homografía de imágenes infrarrojas y visibles utilizando una Red Generativa Antagónica Multiescala, llamada HomoMGAN. Primero, diseñamos dos redes de extracción de características superficiales para extraer características finas de imágenes infrarrojas y visibles, respectivamente, que extraen características importantes en imágenes fuente desde dos dimensiones: canal de color y espacio de imagen. Segundo, propusimos una red generativa antagónica no supervisada para predecir la matriz de homografía directamente. En nuestra red antagónica, el generador captura características significativas para la estimación de homografía en diferentes escalas utilizando una estructura codificador-decodificador y predice además la matriz de homografía. El discriminador reconoce la diferencia de características entre la imagen deformada y la imagen objetivo. A través del juego antagónico entre el generador y el discriminador, las características finas de la imagen deformada en el proceso de estimación de homografía se acercan a las características finas de la imagen objetivo. Finalmente, realizamos experimentos extensos en el conjunto de datos de referencia sintético para verificar la efectividad de HomoMGAN y sus componentes. Realizamos experimentos extensos y los resultados muestran que HomoMGAN supera a los métodos existentes de última generación en los conjuntos de datos de referencia sintéticos tanto cualitativa como cuantitativamente.
Descripción
En visión por computadora, la estimación de homografía de imágenes de múltiples fuentes infrarrojas y visibles basada en aprendizaje profundo es un tema de investigación actual. Los métodos de estimación de homografía existentes ignoran las diferencias de características de las imágenes de múltiples fuentes, lo que conduce a un rendimiento deficiente de homografía en escenas de imágenes infrarrojas y visibles. Para abordar este problema, diseñamos un método de estimación de homografía de imágenes infrarrojas y visibles utilizando una Red Generativa Antagónica Multiescala, llamada HomoMGAN. Primero, diseñamos dos redes de extracción de características superficiales para extraer características finas de imágenes infrarrojas y visibles, respectivamente, que extraen características importantes en imágenes fuente desde dos dimensiones: canal de color y espacio de imagen. Segundo, propusimos una red generativa antagónica no supervisada para predecir la matriz de homografía directamente. En nuestra red antagónica, el generador captura características significativas para la estimación de homografía en diferentes escalas utilizando una estructura codificador-decodificador y predice además la matriz de homografía. El discriminador reconoce la diferencia de características entre la imagen deformada y la imagen objetivo. A través del juego antagónico entre el generador y el discriminador, las características finas de la imagen deformada en el proceso de estimación de homografía se acercan a las características finas de la imagen objetivo. Finalmente, realizamos experimentos extensos en el conjunto de datos de referencia sintético para verificar la efectividad de HomoMGAN y sus componentes. Realizamos experimentos extensos y los resultados muestran que HomoMGAN supera a los métodos existentes de última generación en los conjuntos de datos de referencia sintéticos tanto cualitativa como cuantitativamente.