Sarn: red de regresión de atención desplazada para la estimación de la postura de la mano en 3D
Autores: Zhu, Chenfei; Hu, Boce; Chen, Jiawei; Ai, Xupeng; Agrawal, Sunil K.
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Sarn: red de regresión de atención desplazada para la estimación de la postura de la mano en 3D
Categoría
Ingeniería y Tecnología
Subcategoría
Bioingeniería
Palabras clave
Estimación de postura de mano
HPE
Red de regresión de atención desplazada
SARN
Poses de mano en 3D
Reconocimiento de movimiento de mano.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
La estimación de la postura de la mano (HPE) juega un papel importante durante la evaluación funcional de la mano y en la rehabilitación potencial. Es un desafío predecir la postura de la mano de manera conveniente y precisa durante tareas funcionales, lo que limita la aplicación de HPE. En este documento, proponemos una arquitectura novedosa de una red de regresión de atención desplazada (SARN) para realizar HPE. Dada una imagen de profundidad, SARN primero predice las relaciones espaciales entre los puntos en la imagen de profundidad y un grupo de puntos clave de la mano que determinan la postura de la mano. Luego, SARN utiliza estas relaciones espaciales para inferir la posición 3D de cada punto clave de la mano. Para verificar la efectividad del método propuesto, realizamos experimentos en tres conjuntos de datos de poses de manos 3D de código abierto: NYU, ICVL y MSRA. El método propuesto logró un rendimiento de vanguardia con un error medio de 7,32 mm, 5,91 mm y 7,17 mm en los puntos clave de la mano, es decir, la distancia euclidiana media entre las posiciones predichas y reales de los puntos clave de la mano. Además, para probar la viabilidad de SARN en el reconocimiento de movimientos de la mano, se construyó un conjunto de datos de movimientos de la mano de 26K imágenes de profundidad de 17 sujetos sanos basado en la prueba de toque de dedos, un componente importante de los exámenes neurológicos administrados a pacientes con Parkinson. Cada imagen fue anotada con las puntas del dedo índice y el pulgar. Para este conjunto de datos, el método propuesto logró un error medio de 2,99 mm en los puntos clave de la mano y un rendimiento comparable en tres métricas específicas de la tarea: la distancia, la velocidad y la aceleración del movimiento relativo de las dos puntas de los dedos. Los resultados en los conjuntos de datos de código abierto demostraron la efectividad del método propuesto, y los resultados en nuestro conjunto de datos de toque de dedos validaron su potencial para aplicaciones en la caracterización de tareas funcionales.
Descripción
La estimación de la postura de la mano (HPE) juega un papel importante durante la evaluación funcional de la mano y en la rehabilitación potencial. Es un desafío predecir la postura de la mano de manera conveniente y precisa durante tareas funcionales, lo que limita la aplicación de HPE. En este documento, proponemos una arquitectura novedosa de una red de regresión de atención desplazada (SARN) para realizar HPE. Dada una imagen de profundidad, SARN primero predice las relaciones espaciales entre los puntos en la imagen de profundidad y un grupo de puntos clave de la mano que determinan la postura de la mano. Luego, SARN utiliza estas relaciones espaciales para inferir la posición 3D de cada punto clave de la mano. Para verificar la efectividad del método propuesto, realizamos experimentos en tres conjuntos de datos de poses de manos 3D de código abierto: NYU, ICVL y MSRA. El método propuesto logró un rendimiento de vanguardia con un error medio de 7,32 mm, 5,91 mm y 7,17 mm en los puntos clave de la mano, es decir, la distancia euclidiana media entre las posiciones predichas y reales de los puntos clave de la mano. Además, para probar la viabilidad de SARN en el reconocimiento de movimientos de la mano, se construyó un conjunto de datos de movimientos de la mano de 26K imágenes de profundidad de 17 sujetos sanos basado en la prueba de toque de dedos, un componente importante de los exámenes neurológicos administrados a pacientes con Parkinson. Cada imagen fue anotada con las puntas del dedo índice y el pulgar. Para este conjunto de datos, el método propuesto logró un error medio de 2,99 mm en los puntos clave de la mano y un rendimiento comparable en tres métricas específicas de la tarea: la distancia, la velocidad y la aceleración del movimiento relativo de las dos puntas de los dedos. Los resultados en los conjuntos de datos de código abierto demostraron la efectividad del método propuesto, y los resultados en nuestro conjunto de datos de toque de dedos validaron su potencial para aplicaciones en la caracterización de tareas funcionales.