LiST: Un marco ligero para la traducción continua de la lengua de señas india
Autores: K, Amrutha; P, Prabu; Poonia, Ramesh Chandra
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
LiST: Un marco ligero para la traducción continua de la lengua de señas india
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Lenguaje de señas
Comunicación
Traductor
Aprendizaje profundo
Modelos de SLT
Marco LiST
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La lengua de señas es una forma de comunicación natural, estructurada y completa para intercambiar información. Los comunicadores no verbales, también conocidos como personas con discapacidad auditiva y con dificultades auditivas (HI&HH), consideran la lengua de señas un modo elemental de comunicación para transmitir información. Dado que este idioma es menos familiar entre un gran porcentaje de la población humana, un traductor automático de lengua de señas que pueda actuar como intérprete y eliminar la barrera del idioma es obligatorio. La llegada del aprendizaje profundo ha dado lugar a la disponibilidad de varios modelos de traducción de lengua de señas (SLT). Sin embargo, los modelos de SLT son complejos, lo que resulta en un aumento de la latencia en la traducción de idiomas. Además, los modelos de SLT consideran solo los gestos de las manos para un procesamiento posterior, lo que podría llevar a la mala interpretación de palabras ambiguas en lengua de señas. En este documento, proponemos un marco de SLT ligero, LiST (Traducción Ligera de Lengua de Señas), que considera simultáneamente múltiples modalidades, como gestos de las manos, expresiones faciales y orientación de las manos, a partir de un video de lengua de señas india. La arquitectura Inception V3 maneja las características asociadas con diferentes modalidades de signatarios, lo que resulta en la generación de un mapa de características, que es procesado por una arquitectura de dos capas (memoria a corto y largo plazo) (LSTM). Esta secuencia ayuda en el reconocimiento oración por oración y en la traducción de la lengua de señas a texto y audio. El modelo fue probado con oraciones continuas de Lengua de Señas India (ISL) tomadas del conjunto de datos INCLUDE. Los resultados experimentales muestran que el marco LiST logró una alta precisión de traducción del 91.2% y una precisión de predicción del 95.9% mientras mantenía un bajo error de traducción a nivel de palabra en comparación con otros modelos existentes.
Descripción
La lengua de señas es una forma de comunicación natural, estructurada y completa para intercambiar información. Los comunicadores no verbales, también conocidos como personas con discapacidad auditiva y con dificultades auditivas (HI&HH), consideran la lengua de señas un modo elemental de comunicación para transmitir información. Dado que este idioma es menos familiar entre un gran porcentaje de la población humana, un traductor automático de lengua de señas que pueda actuar como intérprete y eliminar la barrera del idioma es obligatorio. La llegada del aprendizaje profundo ha dado lugar a la disponibilidad de varios modelos de traducción de lengua de señas (SLT). Sin embargo, los modelos de SLT son complejos, lo que resulta en un aumento de la latencia en la traducción de idiomas. Además, los modelos de SLT consideran solo los gestos de las manos para un procesamiento posterior, lo que podría llevar a la mala interpretación de palabras ambiguas en lengua de señas. En este documento, proponemos un marco de SLT ligero, LiST (Traducción Ligera de Lengua de Señas), que considera simultáneamente múltiples modalidades, como gestos de las manos, expresiones faciales y orientación de las manos, a partir de un video de lengua de señas india. La arquitectura Inception V3 maneja las características asociadas con diferentes modalidades de signatarios, lo que resulta en la generación de un mapa de características, que es procesado por una arquitectura de dos capas (memoria a corto y largo plazo) (LSTM). Esta secuencia ayuda en el reconocimiento oración por oración y en la traducción de la lengua de señas a texto y audio. El modelo fue probado con oraciones continuas de Lengua de Señas India (ISL) tomadas del conjunto de datos INCLUDE. Los resultados experimentales muestran que el marco LiST logró una alta precisión de traducción del 91.2% y una precisión de predicción del 95.9% mientras mantenía un bajo error de traducción a nivel de palabra en comparación con otros modelos existentes.