logo móvil
Contáctanos

Jointcontrast: reconocimiento de interacción basado en esqueleto con nueva representación y aprendizaje contrastivo

Autores: Zhang, Ji; Jia, Xiangze; Wang, Zhen; Luo, Yonglong; Chen, Fulong; Yang, Gaoming; Zhao, Lihui

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Jointcontrast: reconocimiento de interacción basado en esqueleto con nueva representación y aprendizaje contrastivo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Reconocimiento de acciones basado en esqueletos
Reconocimiento de interacciones
Representación de gráficos esqueléticos
Convolución de gráficos
Información de interacción entre sujetos
Pre-entrenamiento no supervisado

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 37

Citaciones: Sin citaciones


Descripción
El reconocimiento de acciones basado en esqueletos depende de secuencias de esqueletos para detectar categorías de acciones humanas. En el reconocimiento de acciones basado en esqueletos, el reconocimiento de escenas de acción con más de un sujeto se denomina reconocimiento de interacción. A diferencia de los métodos de reconocimiento de acción de un solo sujeto, el reconocimiento de interacción requiere una representación explícita de la información de interacción entre los sujetos. Recordando el éxito de la representación de gráficos esqueléticos y la convolución de gráficos en la modelización de la información estructural espacial de los datos esqueléticos, consideramos si podemos incrustar la información de interacción entre sujetos en el gráfico esquelético y utilizar la convolución de gráficos para una representación de características unificada. En este documento, proponemos la representación de gráfico esquelético de incrustación de información de interacción (IE-Graph) y utilizamos la operación de convolución de gráficos para representar la información de estructura espacial intra-sujeto e información de interacción inter-sujeto de manera uniforme. Inspirados en los métodos recientes de pre-entrenamiento en visión 2D, proponemos métodos de pre-entrenamiento no supervisados para datos esqueléticos, así como pérdida de contraste. En los conjuntos de datos de SBU, JointContrast logra precisión de reconocimiento. En los conjuntos de datos de NTU60, JointContrast logra respectivamente precisión de reconocimiento bajo las métricas de evaluación de Cross-Subject y Cross-View.

Otros recursos que podrían interesarte

Temas Virtualpro