logo móvil
Contáctanos

Red Neuronal Gráfica Jerárquica: Un Modelo de Coincidencia de Imágenes Ligero con Mejora en el Paso de Mensajes de Información Local y Global en Redes Neuronales Gráficas Jerárquicas

Autores: Opanin Gyamfi, Enoch; Qin, Zhiguang; Mantebea Danso, Juliana; Adu-Gyamfi, Daniel

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Red Neuronal Gráfica Jerárquica: Un Modelo de Coincidencia de Imágenes Ligero con Mejora en el Paso de Mensajes de Información Local y Global en Redes Neuronales Gráficas Jerárquicas


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Redes neuronales gráficas
Coincidencia de imágenes
Variantes ligeras
H-GNN
Técnica de agrupamiento
Mecanismos de paso de mensajes

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Las Redes Neuronales de Grafos (GNNs) han ganado popularidad en los métodos de emparejamiento de imágenes, demostrando ser útiles para diversas tareas de visión por computadora como Estructura a partir del Movimiento (SfM) y reconstrucción 3D. Un ejemplo bien conocido es SuperGlue. Se han desarrollado variantes ligeras, como LightGlue, con un enfoque en apilar menos capas de GNN en comparación con SuperGlue. Este artículo propone el h-GNN, un modelo ligero de emparejamiento de imágenes, con mejoras en los dos módulos de procesamiento, el módulo GNN y el módulo de emparejamiento. Después de que se detectan y describen las características de la imagen como nodos clave de un grafo base, el módulo GNN, que tiene como objetivo principal aumentar la profundidad del h-GNN, crea jerarquías sucesivas de grafos de tamaño comprimido a partir del grafo base mediante una técnica de agrupamiento denominada SC+PCA. SC+PCA combina el Análisis de Componentes Principales (PCA) con el Agrupamiento Espectral (SC) para enriquecer los nodos con información local y global durante el agrupamiento del grafo. Se utiliza una pérdida de agrupamiento dual no contrastiva para optimizar el agrupamiento del grafo. Además, se han propuesto cuatro mecanismos de paso de mensajes que solo actualizan las representaciones de los nodos dentro de un clúster de grafo en el mismo nivel jerárquico o actualizan las representaciones de los nodos a través de clústeres de grafo en diferentes niveles jerárquicos. El módulo de emparejamiento realiza un emparejamiento par a par iterativo sobre las representaciones de nodos enriquecidas para obtener una matriz de puntuación. Esta matriz comprende puntuaciones que indican posibles emparejamientos correctos entre los nodos clave de la imagen. La matriz de puntuación se refina con un "cubo de basura" para suprimir aún más las características no emparejadas. Se utiliza una pérdida de reproyección para optimizar las posiciones de emparejamiento de los puntos clave. El algoritmo de Sinkhorn genera una asignación parcial final a partir de la matriz de puntuación refinada. Los resultados experimentales demuestran el rendimiento del h-GNN propuesto frente a métodos basados en GNN de última generación (SOTA) en varias tareas de emparejamiento de imágenes bajo homografía, estimación, estimación de pose de cámara en interiores y exteriores, y reconstrucción 3D en múltiples conjuntos de datos. Los experimentos también demuestran una mejora en la memoria computacional y el tiempo de ejecución, aproximadamente un 38.1% y un 26.14% más bajos que SuperGlue, y un promedio de aproximadamente un 6.8% y un 7.1% más bajos que LightGlue. La investigación futura explorará los efectos de integrar mecanismos de paso de mensajes simpliciales más recientes, que actualizan simultáneamente tanto las representaciones de nodos como de aristas, en nuestro modelo propuesto.

Otros recursos que podrían interesarte

Temas Virtualpro