Agregación de movimiento no uniforme con redes convolucionales de gráficos para el reconocimiento de acciones humanas basado en esqueletos
Autores: Liang, Chengwu; Yang, Jie; Du, Ruolin; Hu, Wei; Tie, Yun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Agregación de movimiento no uniforme con redes convolucionales de gráficos para el reconocimiento de acciones humanas basado en esqueletos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Esqueleto
Reconocimiento de acciones humanas
Agregación de movimientos
Red convolucional de grafos
Información de movimiento discriminativa
NTU RGB+D
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
El reconocimiento de acciones humanas basado en esqueletos tiene como objetivo reconocer acciones humanas a partir de secuencias de esqueletos dadas. La literatura utiliza muestreo de zancada fija y agregaciones uniformes, que son independientes de los datos de entrada y no se centran en cuadros de movimiento representativos. En este artículo, para superar el desafío de que la estrategia de agregación uniforme fija no pueda centrarse en información de movimiento discriminativa, se propone una nueva agregación de movimiento no uniforme incrustada con una red convolucional de grafos (NMA-GCN) para el reconocimiento de acciones humanas basado en esqueletos. Basado en la calidad del esqueleto y regiones salientes de movimiento, NMA puede centrarse en la información de movimiento discriminativa de las regiones salientes de movimiento humano. Finalmente, las secuencias de esqueletos agregadas se incrustan con la columna vertebral de GCN para el reconocimiento de acciones humanas basado en esqueletos. Se realizaron experimentos en tres grandes conjuntos de datos: NTU RGB+D, NTU RGB+D 120 y FineGym. Los resultados muestran que nuestro método logra 93.4% (Xsub) y 98.2% (Xview) en el conjunto de datos NTU RGB+D, 87.0% (Xsub) y 90.0% (Xset) en el conjunto de datos NTU RGB+D 120, y 90.3% en el conjunto de datos FineGym. Estudios de ablación y evaluaciones en diferentes columnas vertebrales basadas en GCN apoyan aún más la efectividad y generalización de NMA-GCN.
Descripción
El reconocimiento de acciones humanas basado en esqueletos tiene como objetivo reconocer acciones humanas a partir de secuencias de esqueletos dadas. La literatura utiliza muestreo de zancada fija y agregaciones uniformes, que son independientes de los datos de entrada y no se centran en cuadros de movimiento representativos. En este artículo, para superar el desafío de que la estrategia de agregación uniforme fija no pueda centrarse en información de movimiento discriminativa, se propone una nueva agregación de movimiento no uniforme incrustada con una red convolucional de grafos (NMA-GCN) para el reconocimiento de acciones humanas basado en esqueletos. Basado en la calidad del esqueleto y regiones salientes de movimiento, NMA puede centrarse en la información de movimiento discriminativa de las regiones salientes de movimiento humano. Finalmente, las secuencias de esqueletos agregadas se incrustan con la columna vertebral de GCN para el reconocimiento de acciones humanas basado en esqueletos. Se realizaron experimentos en tres grandes conjuntos de datos: NTU RGB+D, NTU RGB+D 120 y FineGym. Los resultados muestran que nuestro método logra 93.4% (Xsub) y 98.2% (Xview) en el conjunto de datos NTU RGB+D, 87.0% (Xsub) y 90.0% (Xset) en el conjunto de datos NTU RGB+D 120, y 90.3% en el conjunto de datos FineGym. Estudios de ablación y evaluaciones en diferentes columnas vertebrales basadas en GCN apoyan aún más la efectividad y generalización de NMA-GCN.