Marco de red neuronal profunda híbrida que combina características de esqueleto y marcha para el reconocimiento de la marcha patológica
Autores: Jun, Kooksung; Lee, Keunhan; Lee, Sanghyub; Lee, Hwanho; Kim, Mun Sang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Marco de red neuronal profunda híbrida que combina características de esqueleto y marcha para el reconocimiento de la marcha patológica
Categoría
Ingeniería y Tecnología
Subcategoría
Bioingeniería
Palabras clave
Esqueleto
Reconocimiento de la marcha
Red neuronal
ángulos articulares
Parámetros de la marcha
Aprendizaje profundo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Los datos del esqueleto humano obtenidos utilizando una cámara de profundidad se han utilizado para el reconocimiento de la marcha patológica con el fin de apoyar las decisiones de diagnóstico de médicos o fisioterapeutas. La mayoría de los estudios para el reconocimiento de la marcha patológica basados en el esqueleto han utilizado secuencias de esqueleto crudas directamente o características de la marcha, como parámetros de la marcha y ángulos articulares, extraídos de secuencias de esqueleto crudas. Hipotetizamos que el uso conjunto de esqueletos, ángulos articulares y parámetros de la marcha puede mejorar el rendimiento del reconocimiento. Este estudio tiene como objetivo desarrollar un modelo de red neuronal profunda que combine de manera efectiva diferentes tipos de datos de entrada. Proponemos un marco de red neuronal profunda híbrida compuesto por una red convolucional de grafos, una red neuronal recurrente y una red neuronal artificial para codificar de manera efectiva secuencias de esqueletos, secuencias de ángulos articulares y parámetros de la marcha, respectivamente. Las características extraídas de tres tipos diferentes de datos de entrada se fusionan y se introducen en la capa de clasificación final. Evaluamos el modelo propuesto en dos conjuntos de datos de esqueletos diferentes (un conjunto de datos simulado de marcha patológica y un conjunto de datos de marcha con trastorno vestibular) que se recopilaron utilizando un Azure Kinect. El modelo propuesto, con múltiples tipos de entrada, mejoró el rendimiento del reconocimiento de la marcha patológica en comparación con modelos de entrada única en ambos conjuntos de datos. Además, logró el mejor rendimiento entre los modelos de vanguardia para el reconocimiento de acciones basado en el esqueleto.
Descripción
Los datos del esqueleto humano obtenidos utilizando una cámara de profundidad se han utilizado para el reconocimiento de la marcha patológica con el fin de apoyar las decisiones de diagnóstico de médicos o fisioterapeutas. La mayoría de los estudios para el reconocimiento de la marcha patológica basados en el esqueleto han utilizado secuencias de esqueleto crudas directamente o características de la marcha, como parámetros de la marcha y ángulos articulares, extraídos de secuencias de esqueleto crudas. Hipotetizamos que el uso conjunto de esqueletos, ángulos articulares y parámetros de la marcha puede mejorar el rendimiento del reconocimiento. Este estudio tiene como objetivo desarrollar un modelo de red neuronal profunda que combine de manera efectiva diferentes tipos de datos de entrada. Proponemos un marco de red neuronal profunda híbrida compuesto por una red convolucional de grafos, una red neuronal recurrente y una red neuronal artificial para codificar de manera efectiva secuencias de esqueletos, secuencias de ángulos articulares y parámetros de la marcha, respectivamente. Las características extraídas de tres tipos diferentes de datos de entrada se fusionan y se introducen en la capa de clasificación final. Evaluamos el modelo propuesto en dos conjuntos de datos de esqueletos diferentes (un conjunto de datos simulado de marcha patológica y un conjunto de datos de marcha con trastorno vestibular) que se recopilaron utilizando un Azure Kinect. El modelo propuesto, con múltiples tipos de entrada, mejoró el rendimiento del reconocimiento de la marcha patológica en comparación con modelos de entrada única en ambos conjuntos de datos. Además, logró el mejor rendimiento entre los modelos de vanguardia para el reconocimiento de acciones basado en el esqueleto.