Guante de datos con sensor de flexión y sensor inercial basado en fusión ponderada de DTW para reconocimiento de lenguaje de señas
Autores: Lu, Chenghong; Amino, Shingo; Jing, Lei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Guante de datos con sensor de flexión y sensor inercial basado en fusión ponderada de DTW para reconocimiento de lenguaje de señas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Barreras de comunicación
Discapacidades auditivas
Lenguaje de señas
Sistema de Guante de Signos
Sensores
Tasa de reconocimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Existen numerosas barreras de comunicación entre personas con y sin discapacidades auditivas. La escritura y el lenguaje de señas son los modos de comunicación más comunes. Sin embargo, la comunicación escrita lleva mucho tiempo. Además, debido a que el lenguaje de señas es difícil de aprender, pocas personas lo comprenden. Es difícil comunicarse entre personas con discapacidad auditiva y personas oyentes debido a estos problemas. En esta investigación, construimos el sistema Sign-Glove para reconocer el lenguaje de señas, un dispositivo que combina un sensor de flexión y WonderSense (un nodo sensor inercial). El sensor de flexión se utilizó para reconocer la forma de la mano, y WonderSense se utilizó para reconocer el movimiento de la mano. El sistema recopila una característica de lenguaje de señas más completa. Después de eso, construimos una fusión multi-sensor ponderada DTW. Este algoritmo nos ayuda a combinar la forma y el movimiento de la mano para reconocer el lenguaje de señas. La asignación de peso tiene en cuenta las contribuciones de características de los sensores para mejorar aún más la tasa de reconocimiento. Además, se creó un conjunto de interfaces para mostrar el significado de las palabras del lenguaje de señas. El experimento eligió veinte palabras del lenguaje de señas que son esenciales para personas con discapacidad auditiva en situaciones críticas. También se evaluó la precisión y la tasa de reconocimiento del sistema.
Descripción
Existen numerosas barreras de comunicación entre personas con y sin discapacidades auditivas. La escritura y el lenguaje de señas son los modos de comunicación más comunes. Sin embargo, la comunicación escrita lleva mucho tiempo. Además, debido a que el lenguaje de señas es difícil de aprender, pocas personas lo comprenden. Es difícil comunicarse entre personas con discapacidad auditiva y personas oyentes debido a estos problemas. En esta investigación, construimos el sistema Sign-Glove para reconocer el lenguaje de señas, un dispositivo que combina un sensor de flexión y WonderSense (un nodo sensor inercial). El sensor de flexión se utilizó para reconocer la forma de la mano, y WonderSense se utilizó para reconocer el movimiento de la mano. El sistema recopila una característica de lenguaje de señas más completa. Después de eso, construimos una fusión multi-sensor ponderada DTW. Este algoritmo nos ayuda a combinar la forma y el movimiento de la mano para reconocer el lenguaje de señas. La asignación de peso tiene en cuenta las contribuciones de características de los sensores para mejorar aún más la tasa de reconocimiento. Además, se creó un conjunto de interfaces para mostrar el significado de las palabras del lenguaje de señas. El experimento eligió veinte palabras del lenguaje de señas que son esenciales para personas con discapacidad auditiva en situaciones críticas. También se evaluó la precisión y la tasa de reconocimiento del sistema.