Modelo generativo para movimientos humanos esqueléticos basado en DC-GAN condicional aplicado a pseudoimágenes
Autores: Xi, Wang; Devineau, Guillaume; Moutarde, Fabien; Yang, Jie
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Modelo generativo para movimientos humanos esqueléticos basado en DC-GAN condicional aplicado a pseudoimágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Modelos generativos
Movimiento humano
Secuencias de poses esqueléticas
Red Generativa Antagónica Convolucional Profunda
Conjunto de datos NTU_RGB+D
Distancias de inicio de Fréchet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
Los modelos generativos para imágenes, audio, texto y otros datos de baja dimensión han logrado un gran éxito en los últimos años. Generar movimientos humanos artificiales también puede ser útil para muchas aplicaciones, incluida la mejora de los métodos de aumento de datos para el reconocimiento de gestos humanos. El objetivo de esta investigación es desarrollar un modelo generativo para el movimiento humano esquelético, permitiendo controlar el tipo de acción del movimiento generado manteniendo la autenticidad del resultado y la variabilidad natural del estilo de ejecución de gestos. Proponemos utilizar una Red Generativa Adversaria Condicional Profunda Convolucional (DC-GAN) aplicada a pseudoimágenes que representan secuencias de posturas esqueléticas utilizando un formato de imagen de esqueleto de estructura de árbol. Evaluamos nuestro enfoque en los datos esqueléticos 3D proporcionados en el extenso conjunto de datos público NTU_RGB+D. Nuestro modelo generativo puede producir movimientos humanos esqueléticos cualitativamente correctos para cualquiera de las 60 clases de acción. También evaluamos cuantitativamente el rendimiento de nuestro modelo calculando distancias de inicio de Fréchet, lo que muestra una fuerte correlación con el juicio humano. Hasta donde sabemos, nuestro trabajo es el primer modelo generativo exitoso condicionado por clase para movimientos esqueléticos humanos basado en la representación de pseudoimágenes de secuencias de posturas esqueléticas.
Descripción
Los modelos generativos para imágenes, audio, texto y otros datos de baja dimensión han logrado un gran éxito en los últimos años. Generar movimientos humanos artificiales también puede ser útil para muchas aplicaciones, incluida la mejora de los métodos de aumento de datos para el reconocimiento de gestos humanos. El objetivo de esta investigación es desarrollar un modelo generativo para el movimiento humano esquelético, permitiendo controlar el tipo de acción del movimiento generado manteniendo la autenticidad del resultado y la variabilidad natural del estilo de ejecución de gestos. Proponemos utilizar una Red Generativa Adversaria Condicional Profunda Convolucional (DC-GAN) aplicada a pseudoimágenes que representan secuencias de posturas esqueléticas utilizando un formato de imagen de esqueleto de estructura de árbol. Evaluamos nuestro enfoque en los datos esqueléticos 3D proporcionados en el extenso conjunto de datos público NTU_RGB+D. Nuestro modelo generativo puede producir movimientos humanos esqueléticos cualitativamente correctos para cualquiera de las 60 clases de acción. También evaluamos cuantitativamente el rendimiento de nuestro modelo calculando distancias de inicio de Fréchet, lo que muestra una fuerte correlación con el juicio humano. Hasta donde sabemos, nuestro trabajo es el primer modelo generativo exitoso condicionado por clase para movimientos esqueléticos humanos basado en la representación de pseudoimágenes de secuencias de posturas esqueléticas.