logo móvil
Contáctanos

Reconocimiento de lenguaje de señas aislado de múltiples flujos basado en características de dedos derivadas de datos de pose

Autores: Akdag, Ali; Baykan, Omer Kaan

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Reconocimiento de lenguaje de señas aislado de múltiples flujos basado en características de dedos derivadas de datos de pose


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Enfoque innovador
Dedos
Reconocimiento de lenguaje de señas
Modelo Multicanal-MobileNetV2
Análisis de Componentes Principales
Máquina de Vectores de Soporte

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 42

Citaciones: Sin citaciones


Descripción
Este estudio presenta un enfoque multicanal innovador que se centra en las características y configuraciones de los dedos en el reconocimiento de lenguaje de señas aislado. La base de este enfoque se basa en tres tipos diferentes de datos, derivados de datos de poses de dedos obtenidos utilizando MediaPipe y procesados en canales separados. Utilizando estos datos multicanal, entrenamos el modelo propuesto MultiChannel-MobileNetV2 para proporcionar un análisis detallado de los movimientos de los dedos. En nuestro estudio, primero sometemos las características extraídas de todos los modelos entrenados a una reducción de dimensionalidad utilizando Análisis de Componentes Principales. Posteriormente, combinamos estas características procesadas para la clasificación utilizando una Máquina de Vectores de Soporte. Además, nuestro método propuesto incluye el procesamiento de información corporal y facial utilizando MobileNetV2. Nuestro método propuesto final de reconocimiento de lenguaje de señas ha logrado tasas de precisión notables del 97.15%, 95.13%, 99.78% y 95.37% en los conjuntos de datos BosphorusSign22k-general, BosphorusSign22k, LSA64 y GSL, respectivamente. Estos resultados subrayan la generalizabilidad y adaptabilidad del método propuesto, demostrando su ventaja competitiva sobre estudios existentes en la literatura.

Otros recursos que podrían interesarte

Temas Virtualpro