logo móvil
Contáctanos

Reconocimiento de gestos del Lenguaje de Señas Filipino utilizando redes neuronales profundas convolucionales y de memoria a largo y corto plazo

Autores: Cayme, Karl Jensen; Retutal, Vince Andrei; Salubre, Miguel Edwin; Astillo, Philip Virgil; Cañete, Luis Gerardo; Choudhary, Gaurav

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Reconocimiento de gestos del Lenguaje de Señas Filipino utilizando redes neuronales profundas convolucionales y de memoria a largo y corto plazo


Categoría

Gestión y administración

Subcategoría

Gestión del conocimiento

Palabras clave

Sistema de reconocimiento de gestos en tiempo real
Modelo cnn-lstm
Métodos de conversión livianos
Entrenamiento consciente de cuantización
Captura dinámica de gestos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 21

Citaciones: Sin citaciones


Descripción
En respuesta a la reciente formalización del Lenguaje de Señas Filipino (FSL) y la falta de estudios exhaustivos, este documento presenta un sistema de reconocimiento de gestos FSL en tiempo real. A diferencia de los sistemas existentes, que a menudo están limitados a signos estáticos y reconocimiento asincrónico, ofrece captura de gestos dinámicos y reconocimiento de 10 expresiones comunes y cinco consultas transaccionales. Para este fin, el sistema emplea secuencialmente recorte, ajuste de contraste, conversión a escala de grises, cambio de tamaño y normalización de flujos de imágenes de entrada. Estos pasos sirven para extraer la región de interés, reducir la carga computacional, asegurar un tamaño de entrada uniforme y mantener una distribución consistente de valores de píxeles. Posteriormente, se empleó un modelo de Red Neuronal Convolucional y Memoria a Largo y Corto Plazo (CNN-LSTM) para reconocer matices de los gestos FSL en tiempo real. Los resultados demuestran la superioridad de la técnica propuesta sobre los sistemas de reconocimiento FSL existentes, logrando una impresionante tasa promedio de precisión, recuperación y exactitud del 98%, marcando una mejora del 11.3% en precisión. Además, este artículo también explora métodos de conversión liviana, incluyendo la post-cuantización y el entrenamiento consciente de cuantización, para facilitar el despliegue del modelo en plataformas con recursos limitados. Los modelos livianos muestran una reducción significativa en el tamaño del modelo y la utilización de memoria con respecto al modelo base cuando se ejecutan en una minicomputadora Raspberry Pi. Por último, el modelo liviano entrenado con la técnica consciente de cuantización (99%) supera el enfoque de post-cuantización (97%), mostrando una notable mejora del 2% en precisión.

Otros recursos que podrían interesarte

Temas Virtualpro