Dancetrend: un marco de integración de reconocimiento de acciones corporales basado en video y características de espacio de color para predecir la popularidad del baile
Autores: Ding, Shiying; Hou, Xingyu; Liu, Yujia; Zhu, Wenxuan; Fang, Dong; Fan, Yusi; Li, Kewei; Huang, Lan; Zhou, Fengfeng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Dancetrend: un marco de integración de reconocimiento de acciones corporales basado en video y características de espacio de color para predecir la popularidad del baile
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aumento
Contenido generado por el usuario
Videos de baile
Características de movimiento corporal
Predicción de popularidad
ST-GCN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 49
Citaciones: Sin citaciones
Con el aumento de plataformas de contenido generado por usuarios (UGC), estamos presenciando un aumento sin precedentes en datos. Entre varios tipos de contenido, los videos de baile han surgido como un medio potente para la expresión artística y emocional en la era de la Web 2.0. Estos videos se han convertido cada vez más en un medio significativo para que los usuarios cautiven a las audiencias y amplifiquen su influencia en línea. Dado esto, predecir la popularidad de los videos de baile en plataformas de UGC ha atraído una atención significativa. Este estudio postula que las características del movimiento corporal juegan un papel fundamental en determinar la popularidad futura de los videos de baile. Para probar esta hipótesis, diseñamos un marco de predicción robusto DanceTrend para integrar las características del movimiento corporal con información del espacio de color para la predicción de popularidad del baile. Utilizamos los videos de baile de jazz del completo conjunto de datos de baile callejero AIST++ y segmentamos cada video de rutina de baile en movimientos individuales. Se eligió AlphaPose como algoritmo de detección de postura humana para ayudarnos a obtener características de movimiento humano de los videos. Luego, se aprovecha la ST-GCN (Red de Convolución de Grafos Espacio Temporal) para entrenar los modelos de clasificación de movimiento. Estos modelos ST-GCN pre-entrenados se aplican para extraer características del movimiento corporal de nuestro conjunto de datos de videos de baile de Bilibili. Junto con estas características del movimiento corporal, integramos atributos del espacio de color y metadatos de usuario para la tarea final de predicción de popularidad del baile. Los resultados experimentales respaldan nuestra hipótesis inicial de que las características del movimiento corporal influyen significativamente en la popularidad futura de los videos de baile. Una evaluación exhaustiva de varias estrategias de fusión de características y clasificadores diversos revela que una estrategia híbrida de fusión pre-post junto con el clasificador XGBoost produce los resultados más óptimos para nuestro conjunto de datos.
Descripción
Con el aumento de plataformas de contenido generado por usuarios (UGC), estamos presenciando un aumento sin precedentes en datos. Entre varios tipos de contenido, los videos de baile han surgido como un medio potente para la expresión artística y emocional en la era de la Web 2.0. Estos videos se han convertido cada vez más en un medio significativo para que los usuarios cautiven a las audiencias y amplifiquen su influencia en línea. Dado esto, predecir la popularidad de los videos de baile en plataformas de UGC ha atraído una atención significativa. Este estudio postula que las características del movimiento corporal juegan un papel fundamental en determinar la popularidad futura de los videos de baile. Para probar esta hipótesis, diseñamos un marco de predicción robusto DanceTrend para integrar las características del movimiento corporal con información del espacio de color para la predicción de popularidad del baile. Utilizamos los videos de baile de jazz del completo conjunto de datos de baile callejero AIST++ y segmentamos cada video de rutina de baile en movimientos individuales. Se eligió AlphaPose como algoritmo de detección de postura humana para ayudarnos a obtener características de movimiento humano de los videos. Luego, se aprovecha la ST-GCN (Red de Convolución de Grafos Espacio Temporal) para entrenar los modelos de clasificación de movimiento. Estos modelos ST-GCN pre-entrenados se aplican para extraer características del movimiento corporal de nuestro conjunto de datos de videos de baile de Bilibili. Junto con estas características del movimiento corporal, integramos atributos del espacio de color y metadatos de usuario para la tarea final de predicción de popularidad del baile. Los resultados experimentales respaldan nuestra hipótesis inicial de que las características del movimiento corporal influyen significativamente en la popularidad futura de los videos de baile. Una evaluación exhaustiva de varias estrategias de fusión de características y clasificadores diversos revela que una estrategia híbrida de fusión pre-post junto con el clasificador XGBoost produce los resultados más óptimos para nuestro conjunto de datos.