Reconocimiento de lenguaje de señas aislado de múltiples flujos basado en características de dedos derivadas de datos de pose
Autores: Akdag, Ali; Baykan, Omer Kaan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Reconocimiento de lenguaje de señas aislado de múltiples flujos basado en características de dedos derivadas de datos de pose
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Enfoque innovador
Dedos
Reconocimiento de lenguaje de señas
Modelo Multicanal-MobileNetV2
Análisis de Componentes Principales
Máquina de Vectores de Soporte
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
Este estudio presenta un enfoque multicanal innovador que se centra en las características y configuraciones de los dedos en el reconocimiento de lenguaje de señas aislado. La base de este enfoque se basa en tres tipos diferentes de datos, derivados de datos de poses de dedos obtenidos utilizando MediaPipe y procesados en canales separados. Utilizando estos datos multicanal, entrenamos el modelo propuesto MultiChannel-MobileNetV2 para proporcionar un análisis detallado de los movimientos de los dedos. En nuestro estudio, primero sometemos las características extraídas de todos los modelos entrenados a una reducción de dimensionalidad utilizando Análisis de Componentes Principales. Posteriormente, combinamos estas características procesadas para la clasificación utilizando una Máquina de Vectores de Soporte. Además, nuestro método propuesto incluye el procesamiento de información corporal y facial utilizando MobileNetV2. Nuestro método propuesto final de reconocimiento de lenguaje de señas ha logrado tasas de precisión notables del 97.15%, 95.13%, 99.78% y 95.37% en los conjuntos de datos BosphorusSign22k-general, BosphorusSign22k, LSA64 y GSL, respectivamente. Estos resultados subrayan la generalizabilidad y adaptabilidad del método propuesto, demostrando su ventaja competitiva sobre estudios existentes en la literatura.
Descripción
Este estudio presenta un enfoque multicanal innovador que se centra en las características y configuraciones de los dedos en el reconocimiento de lenguaje de señas aislado. La base de este enfoque se basa en tres tipos diferentes de datos, derivados de datos de poses de dedos obtenidos utilizando MediaPipe y procesados en canales separados. Utilizando estos datos multicanal, entrenamos el modelo propuesto MultiChannel-MobileNetV2 para proporcionar un análisis detallado de los movimientos de los dedos. En nuestro estudio, primero sometemos las características extraídas de todos los modelos entrenados a una reducción de dimensionalidad utilizando Análisis de Componentes Principales. Posteriormente, combinamos estas características procesadas para la clasificación utilizando una Máquina de Vectores de Soporte. Además, nuestro método propuesto incluye el procesamiento de información corporal y facial utilizando MobileNetV2. Nuestro método propuesto final de reconocimiento de lenguaje de señas ha logrado tasas de precisión notables del 97.15%, 95.13%, 99.78% y 95.37% en los conjuntos de datos BosphorusSign22k-general, BosphorusSign22k, LSA64 y GSL, respectivamente. Estos resultados subrayan la generalizabilidad y adaptabilidad del método propuesto, demostrando su ventaja competitiva sobre estudios existentes en la literatura.