Red de Convolution de Gráficos de Diferencia Multi-Escala Adaptativa para el Reconocimiento de Acciones Basado en Esqueletos
Autores: Wang, Xiaojuan; Gan, Ziliang; Jin, Lei; Xiao, Yabo; He, Mingshu
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Red de Convolution de Gráficos de Diferencia Multi-Escala Adaptativa para el Reconocimiento de Acciones Basado en Esqueletos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes convolucionales de grafos
Reconocimiento de acciones basado en esqueletos
Red de convolución de grafos de diferencia multi-escala adaptativa
Módulo de convolución de grafos espaciales
Módulo de convolución de diferencia temporal multi-escala
Marco de múltiples flujos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Las redes convolucionales gráficas (GCNs) han obtenido un rendimiento notable en el reconocimiento de acciones basadas en esqueletos. Sin embargo, enfoques anteriores no logran capturar las correlaciones implícitas entre articulaciones y acciones a lo largo de intervalos de tiempo variables. Para abordar estos problemas, proponemos una Red de Convolución de Grafos de Diferencia Multi-escala Adaptativa (AMD-GCN), que consta de un módulo de convolución de gráficos espaciales adaptativos (ASGC) y un módulo de convolución de diferencias temporales multi-escala (MTDC). El primer módulo es capaz de adquirir gráficos dependientes de los datos y de los canales que son adaptables tanto a las muestras como a los canales. El segundo módulo emplea el enfoque multi-escala para modelar la información temporal a lo largo de una variedad de escalas de tiempo. Además, el MTDC incorpora un módulo mejorado con atención y convolución de diferencias para acentuar canales significativos y mejorar características temporales, respectivamente. Finalmente, proponemos un marco de múltiples flujos para integrar diversas modalidades esqueléticas y lograr un rendimiento superior. Nuestro enfoque AMD-GCN fue ampliamente probado y demostró superar a los métodos actuales más avanzados en tres conjuntos de datos ampliamente reconocidos: NTU-RGB+D, NTU-RGB+D 120 y Kinetics Skeleton.
Descripción
Las redes convolucionales gráficas (GCNs) han obtenido un rendimiento notable en el reconocimiento de acciones basadas en esqueletos. Sin embargo, enfoques anteriores no logran capturar las correlaciones implícitas entre articulaciones y acciones a lo largo de intervalos de tiempo variables. Para abordar estos problemas, proponemos una Red de Convolución de Grafos de Diferencia Multi-escala Adaptativa (AMD-GCN), que consta de un módulo de convolución de gráficos espaciales adaptativos (ASGC) y un módulo de convolución de diferencias temporales multi-escala (MTDC). El primer módulo es capaz de adquirir gráficos dependientes de los datos y de los canales que son adaptables tanto a las muestras como a los canales. El segundo módulo emplea el enfoque multi-escala para modelar la información temporal a lo largo de una variedad de escalas de tiempo. Además, el MTDC incorpora un módulo mejorado con atención y convolución de diferencias para acentuar canales significativos y mejorar características temporales, respectivamente. Finalmente, proponemos un marco de múltiples flujos para integrar diversas modalidades esqueléticas y lograr un rendimiento superior. Nuestro enfoque AMD-GCN fue ampliamente probado y demostró superar a los métodos actuales más avanzados en tres conjuntos de datos ampliamente reconocidos: NTU-RGB+D, NTU-RGB+D 120 y Kinetics Skeleton.