Estimación de pose humana a través de transferencia dinámica de información
Autores: Li, Yihang; Shi, Qingxuan; Song, Jingya; Yang, Fang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Estimación de pose humana a través de transferencia dinámica de información
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Marco de aprendizaje multi-tarea
Red de transferencia de información dinámica
Estimación de postura
Relación espacial
Localización conjunta
Bloques de atención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Este documento presenta un marco de aprendizaje multitarea, llamado la red de transferencia de información dinámica (DITN). Nos enfocamos principalmente en mejorar la estimación de la postura con la relación espacial de las articulaciones adyacentes. Para beneficiarnos del conocimiento estructural explícito, construimos dos ramas con una columna vertebral compartida para localizar las articulaciones y huesos humanos, respectivamente. Dado que las tareas relacionadas comparten una representación de alto nivel, aprovechamos la información ósea para refinar la localización de las articulaciones a través de la transferencia de información dinámica. En detalle, extraímos los parámetros dinámicos de la rama ósea y los utilizamos para que la red aprenda relaciones de restricción a través de la convolución dinámica. Además, se agregaron bloques de atención después de la transferencia de información para equilibrar la información en diferentes niveles de granularidad e inducir a la red a enfocarse en las regiones informativas. Los resultados experimentales demostraron la efectividad del DITN, que logró un 90.8% de PCKh@0.5 en MPII y un 75.0% de AP en COCO. Los resultados cualitativos en los conjuntos de datos MPII y COCO mostraron que el DITN logró un mejor rendimiento, especialmente en la localización de articulaciones fuertemente ocultas o fácilmente confundibles.
Descripción
Este documento presenta un marco de aprendizaje multitarea, llamado la red de transferencia de información dinámica (DITN). Nos enfocamos principalmente en mejorar la estimación de la postura con la relación espacial de las articulaciones adyacentes. Para beneficiarnos del conocimiento estructural explícito, construimos dos ramas con una columna vertebral compartida para localizar las articulaciones y huesos humanos, respectivamente. Dado que las tareas relacionadas comparten una representación de alto nivel, aprovechamos la información ósea para refinar la localización de las articulaciones a través de la transferencia de información dinámica. En detalle, extraímos los parámetros dinámicos de la rama ósea y los utilizamos para que la red aprenda relaciones de restricción a través de la convolución dinámica. Además, se agregaron bloques de atención después de la transferencia de información para equilibrar la información en diferentes niveles de granularidad e inducir a la red a enfocarse en las regiones informativas. Los resultados experimentales demostraron la efectividad del DITN, que logró un 90.8% de PCKh@0.5 en MPII y un 75.0% de AP en COCO. Los resultados cualitativos en los conjuntos de datos MPII y COCO mostraron que el DITN logró un mejor rendimiento, especialmente en la localización de articulaciones fuertemente ocultas o fácilmente confundibles.