Modelando la distribución condicional de gestos de la parte superior del cuerpo durante el habla de manera conjunta utilizando Conditional-GAN y Unrolled-GAN
Autores: Wu, Bowen; Liu, Chaoran; Ishi, Carlos Toshinori; Ishiguro, Hiroshi
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Modelando la distribución condicional de gestos de la parte superior del cuerpo durante el habla de manera conjunta utilizando Conditional-GAN y Unrolled-GAN
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Gestos de habla
Similar a humano
Modelo generativo basado en GAN condicional
Distribución
Parametrización
Aleatoriedad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 50
Citaciones: Sin citaciones
Los gestos durante el discurso son una modalidad crucial y no verbal para que los humanos se comuniquen. Los agentes sociales también necesitan esta capacidad para ser más parecidos a los humanos y comprensivos. Este estudio tiene como objetivo modelar la distribución de gestos condicionados a las características del habla humana. A diferencia de estudios anteriores que intentan encontrar funciones inyectivas que mapeen el habla a gestos, proponemos un modelo generativo novedoso basado en GAN condicionales para no solo convertir el habla en gestos, sino también para aproximar la distribución de gestos condicionados al habla a través de la parametrización. Una evaluación objetiva y un estudio de usuario muestran que el modelo propuesto superó al modelo determinista existente, lo que indica que los modelos generativos pueden aproximar mejor los patrones reales de gestos durante el discurso que el modelo determinista existente. Nuestros resultados sugieren que es crítico considerar la naturaleza de la aleatoriedad al modelar los gestos durante el discurso.
Descripción
Los gestos durante el discurso son una modalidad crucial y no verbal para que los humanos se comuniquen. Los agentes sociales también necesitan esta capacidad para ser más parecidos a los humanos y comprensivos. Este estudio tiene como objetivo modelar la distribución de gestos condicionados a las características del habla humana. A diferencia de estudios anteriores que intentan encontrar funciones inyectivas que mapeen el habla a gestos, proponemos un modelo generativo novedoso basado en GAN condicionales para no solo convertir el habla en gestos, sino también para aproximar la distribución de gestos condicionados al habla a través de la parametrización. Una evaluación objetiva y un estudio de usuario muestran que el modelo propuesto superó al modelo determinista existente, lo que indica que los modelos generativos pueden aproximar mejor los patrones reales de gestos durante el discurso que el modelo determinista existente. Nuestros resultados sugieren que es crítico considerar la naturaleza de la aleatoriedad al modelar los gestos durante el discurso.