Deepsign: detección y reconocimiento de lenguaje de señas usando aprendizaje profundo
Autores: Kothadiya, Deep; Bhatt, Chintan; Sapariya, Krenil; Patel, Kevin; Gil-González, Ana-Belén; Corchado, Juan M.
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Deepsign: detección y reconocimiento de lenguaje de señas usando aprendizaje profundo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Comunicación
Aprendizaje profundo
Gestos
Lenguaje de señas
LSTM
GRU
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
El principal medio de comunicación es el habla; sin embargo, hay personas cuyas habilidades para hablar o escuchar están deterioradas. La comunicación representa una barrera significativa para las personas con discapacidades de este tipo. El uso de métodos de aprendizaje profundo puede ayudar a reducir las barreras de comunicación. Este documento propone un modelo basado en aprendizaje profundo que detecta y reconoce las palabras a partir de los gestos de una persona. Los modelos de aprendizaje profundo, a saber, LSTM y GRU (modelos de aprendizaje basados en retroalimentación), se utilizan para reconocer signos a partir de fotogramas de video aislados del Lenguaje de Signos Indio (ISL). Se utilizaron cuatro combinaciones secuenciales diferentes de LSTM y GRU (ya que hay dos capas de LSTM y dos capas de GRU) con nuestro propio conjunto de datos, IISL2020. El modelo propuesto, que consta de una sola capa de LSTM seguida de GRU, logra alrededor del 97% de precisión en 11 signos diferentes. Este método puede ayudar a las personas que desconocen el lenguaje de signos a comunicarse con personas cuyo habla o audición están deterioradas.
Descripción
El principal medio de comunicación es el habla; sin embargo, hay personas cuyas habilidades para hablar o escuchar están deterioradas. La comunicación representa una barrera significativa para las personas con discapacidades de este tipo. El uso de métodos de aprendizaje profundo puede ayudar a reducir las barreras de comunicación. Este documento propone un modelo basado en aprendizaje profundo que detecta y reconoce las palabras a partir de los gestos de una persona. Los modelos de aprendizaje profundo, a saber, LSTM y GRU (modelos de aprendizaje basados en retroalimentación), se utilizan para reconocer signos a partir de fotogramas de video aislados del Lenguaje de Signos Indio (ISL). Se utilizaron cuatro combinaciones secuenciales diferentes de LSTM y GRU (ya que hay dos capas de LSTM y dos capas de GRU) con nuestro propio conjunto de datos, IISL2020. El modelo propuesto, que consta de una sola capa de LSTM seguida de GRU, logra alrededor del 97% de precisión en 11 signos diferentes. Este método puede ayudar a las personas que desconocen el lenguaje de signos a comunicarse con personas cuyo habla o audición están deterioradas.