logo móvil
Contáctanos

Deepsign: detección y reconocimiento de lenguaje de señas usando aprendizaje profundo

Autores: Kothadiya, Deep; Bhatt, Chintan; Sapariya, Krenil; Patel, Kevin; Gil-González, Ana-Belén; Corchado, Juan M.

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Deepsign: detección y reconocimiento de lenguaje de señas usando aprendizaje profundo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Comunicación
Aprendizaje profundo
Gestos
Lenguaje de señas
LSTM
GRU

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 27

Citaciones: Sin citaciones


Descripción
El principal medio de comunicación es el habla; sin embargo, hay personas cuyas habilidades para hablar o escuchar están deterioradas. La comunicación representa una barrera significativa para las personas con discapacidades de este tipo. El uso de métodos de aprendizaje profundo puede ayudar a reducir las barreras de comunicación. Este documento propone un modelo basado en aprendizaje profundo que detecta y reconoce las palabras a partir de los gestos de una persona. Los modelos de aprendizaje profundo, a saber, LSTM y GRU (modelos de aprendizaje basados en retroalimentación), se utilizan para reconocer signos a partir de fotogramas de video aislados del Lenguaje de Signos Indio (ISL). Se utilizaron cuatro combinaciones secuenciales diferentes de LSTM y GRU (ya que hay dos capas de LSTM y dos capas de GRU) con nuestro propio conjunto de datos, IISL2020. El modelo propuesto, que consta de una sola capa de LSTM seguida de GRU, logra alrededor del 97% de precisión en 11 signos diferentes. Este método puede ayudar a las personas que desconocen el lenguaje de signos a comunicarse con personas cuyo habla o audición están deterioradas.

Otros recursos que podrían interesarte

Temas Virtualpro