Adaptación temporal no supervisada en el reconocimiento de acciones humanas basado en esqueletos
Autores: Tian, Haitao; Payeur, Pierre
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Adaptación temporal no supervisada en el reconocimiento de acciones humanas basado en esqueletos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Enfoques de aprendizaje profundo
Disponibilidad de datos
Adaptación no supervisada en el dominio temporal
Reconocimiento de acciones humanas
Datos basados en esqueletos
Aprendizaje de Prototipos Contrastivos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
Con enfoques de aprendizaje profundo, la suposición fundamental de la disponibilidad de datos puede verse gravemente comprometida cuando un modelo entrenado en un dominio fuente se transpone a un dominio de aplicación objetivo donde los datos no están etiquetados, lo que hace que el ajuste fino supervisado sea en su mayoría imposible. Para superar esta limitación, el presente trabajo introduce un marco de adaptación no supervisada en el dominio temporal para el reconocimiento de acciones humanas a partir de datos basados en esqueletos que combina el Aprendizaje de Prototipos Contrastivos (CPL) y la Modelización de Adaptación Temporal (TAM), con el objetivo de transferir el conocimiento aprendido de un dominio fuente a un dominio objetivo no etiquetado. La estrategia CPL, inspirada en el reciente éxito del aprendizaje contrastivo aplicado a datos de esqueletos, aprende una representación temporal compacta del dominio fuente, a partir de la cual la estrategia TAM aprovecha la capacidad de autoentrenamiento para adaptar la representación a un dominio de aplicación objetivo utilizando pseudoetiquetas. La investigación demuestra que resolver simultáneamente CPL y TAM permite entrenar de manera efectiva un modelo de reconocimiento de acciones humanas generalizable que es adaptable a ambos dominios y supera la necesidad de un gran volumen de datos de esqueletos etiquetados en el dominio objetivo. Se realizan experimentos en múltiples conjuntos de datos de reconocimiento de acciones humanas a gran escala como NTU RGB+D, PKU MMD y Northwestern-UCLA para evaluar exhaustivamente la efectividad del método propuesto.
Descripción
Con enfoques de aprendizaje profundo, la suposición fundamental de la disponibilidad de datos puede verse gravemente comprometida cuando un modelo entrenado en un dominio fuente se transpone a un dominio de aplicación objetivo donde los datos no están etiquetados, lo que hace que el ajuste fino supervisado sea en su mayoría imposible. Para superar esta limitación, el presente trabajo introduce un marco de adaptación no supervisada en el dominio temporal para el reconocimiento de acciones humanas a partir de datos basados en esqueletos que combina el Aprendizaje de Prototipos Contrastivos (CPL) y la Modelización de Adaptación Temporal (TAM), con el objetivo de transferir el conocimiento aprendido de un dominio fuente a un dominio objetivo no etiquetado. La estrategia CPL, inspirada en el reciente éxito del aprendizaje contrastivo aplicado a datos de esqueletos, aprende una representación temporal compacta del dominio fuente, a partir de la cual la estrategia TAM aprovecha la capacidad de autoentrenamiento para adaptar la representación a un dominio de aplicación objetivo utilizando pseudoetiquetas. La investigación demuestra que resolver simultáneamente CPL y TAM permite entrenar de manera efectiva un modelo de reconocimiento de acciones humanas generalizable que es adaptable a ambos dominios y supera la necesidad de un gran volumen de datos de esqueletos etiquetados en el dominio objetivo. Se realizan experimentos en múltiples conjuntos de datos de reconocimiento de acciones humanas a gran escala como NTU RGB+D, PKU MMD y Northwestern-UCLA para evaluar exhaustivamente la efectividad del método propuesto.