Red de Convolutional Graph con Desplazamiento Mejorado y Mejora de Topología Guiada por Atención para el Reconocimiento de Acciones Basado en Esqueletos
Autores: Lu, Chenghong; Chen, Hongbo; Li, Menglei; Jing, Lei
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Red de Convolutional Graph con Desplazamiento Mejorado y Mejora de Topología Guiada por Atención para el Reconocimiento de Acciones Basado en Esqueletos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes convolucionales de grafos
Reconocimiento de acciones basado en esqueletos
Operadores de desplazamiento
Modelo ligero
Guiado por atención
Mejorado por topología.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Las Redes Convolucionales de Grafos (GCNs) han surgido como un cambio de juego en el reconocimiento de acciones basado en esqueletos. Sin embargo, la mayoría de trabajos previos son pesados en recursos, con un alto número de operaciones en punto flotante (FLOPs) limitando el potencial del modelo. Un trabajo reciente que involucra operadores de desplazamiento a GCN (Shift-GCN) ha introducido con éxito un GCN ligero, pero aún existe una brecha de rendimiento en comparación con resultados anteriores. Inspirados por Shift-GCN, proponemos un modelo innovador y novedoso llamado red convolucional de grafos con desplazamiento guiado por atención y mejorada topológicamente (AT-Shift-GCN), que continúa el punto de referencia ligero y proporciona un rendimiento más potente. Empleamos una operación de transferencia topológica para agregar el flujo de información de diferentes canales y extraer información espacial. Además, para extraer información temporal a través de escalas, aplicamos atención para interactuar con núcleos de convolución de desplazamiento de diferentes longitudes. Además, integramos un módulo de atención espaciotemporal ultraligero para fusionar detalles espaciotemporales y proporcionar una representación de vecindario robusta. En resumen, AT-Shift-GCN es un avance en el reconocimiento de acciones basado en esqueletos que proporciona un modelo ligero con un rendimiento mejorado en tres conjuntos de datos.
Descripción
Las Redes Convolucionales de Grafos (GCNs) han surgido como un cambio de juego en el reconocimiento de acciones basado en esqueletos. Sin embargo, la mayoría de trabajos previos son pesados en recursos, con un alto número de operaciones en punto flotante (FLOPs) limitando el potencial del modelo. Un trabajo reciente que involucra operadores de desplazamiento a GCN (Shift-GCN) ha introducido con éxito un GCN ligero, pero aún existe una brecha de rendimiento en comparación con resultados anteriores. Inspirados por Shift-GCN, proponemos un modelo innovador y novedoso llamado red convolucional de grafos con desplazamiento guiado por atención y mejorada topológicamente (AT-Shift-GCN), que continúa el punto de referencia ligero y proporciona un rendimiento más potente. Empleamos una operación de transferencia topológica para agregar el flujo de información de diferentes canales y extraer información espacial. Además, para extraer información temporal a través de escalas, aplicamos atención para interactuar con núcleos de convolución de desplazamiento de diferentes longitudes. Además, integramos un módulo de atención espaciotemporal ultraligero para fusionar detalles espaciotemporales y proporcionar una representación de vecindario robusta. En resumen, AT-Shift-GCN es un avance en el reconocimiento de acciones basado en esqueletos que proporciona un modelo ligero con un rendimiento mejorado en tres conjuntos de datos.