Signsability: Mejorando la Comunicación a través de una Aplicación de Lengua de Señas
Autores: Ezra, Din; Mastitz, Shai; Rabaev, Irina
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Signsability: Mejorando la Comunicación a través de una Aplicación de Lengua de Señas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Integración
Sistemas de reconocimiento de lenguaje de señas
Plataformas digitales
Lengua de Señas Israelí (ISL)
Aprendizaje profundo
Visión por Computadora
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
La integración de sistemas de reconocimiento de lenguaje de señas en plataformas digitales tiene el potencial de cerrar las brechas de comunicación entre la comunidad sorda y la población en general. Este documento presenta un sistema avanzado de reconocimiento de Lengua de Señas Israelí (ISL) diseñado para interpretar gestos de movimiento dinámico, abordando una necesidad crítica de herramientas de comunicación más sofisticadas y fluidas. A diferencia de los sistemas convencionales que se centran únicamente en signos estáticos, nuestro enfoque incorpora tanto técnicas de aprendizaje profundo como de visión por computadora para analizar y traducir gestos dinámicos capturados en video en tiempo real. Proporcionamos un relato completo de nuestra pipeline de preprocesamiento, detallando cada etapa desde la recolección de video hasta la extracción de puntos de referencia utilizando MediaPipe, incluyendo las ecuaciones matemáticas utilizadas para el preprocesamiento de estos puntos de referencia y el proceso final de reconocimiento. El conjunto de datos utilizado para entrenar nuestro modelo es único en su exhaustividad y es de acceso público, mejorando la reproducibilidad y expansión de futuras investigaciones. El despliegue de nuestro modelo en un sitio web de acceso público permite a los usuarios interactuar con ISL de manera interactiva, facilitando tanto el aprendizaje como la práctica. Discutimos el proceso de desarrollo, los desafíos superados y el impacto social anticipado de nuestro sistema en la promoción de una mayor inclusividad y comprensión.
Descripción
La integración de sistemas de reconocimiento de lenguaje de señas en plataformas digitales tiene el potencial de cerrar las brechas de comunicación entre la comunidad sorda y la población en general. Este documento presenta un sistema avanzado de reconocimiento de Lengua de Señas Israelí (ISL) diseñado para interpretar gestos de movimiento dinámico, abordando una necesidad crítica de herramientas de comunicación más sofisticadas y fluidas. A diferencia de los sistemas convencionales que se centran únicamente en signos estáticos, nuestro enfoque incorpora tanto técnicas de aprendizaje profundo como de visión por computadora para analizar y traducir gestos dinámicos capturados en video en tiempo real. Proporcionamos un relato completo de nuestra pipeline de preprocesamiento, detallando cada etapa desde la recolección de video hasta la extracción de puntos de referencia utilizando MediaPipe, incluyendo las ecuaciones matemáticas utilizadas para el preprocesamiento de estos puntos de referencia y el proceso final de reconocimiento. El conjunto de datos utilizado para entrenar nuestro modelo es único en su exhaustividad y es de acceso público, mejorando la reproducibilidad y expansión de futuras investigaciones. El despliegue de nuestro modelo en un sitio web de acceso público permite a los usuarios interactuar con ISL de manera interactiva, facilitando tanto el aprendizaje como la práctica. Discutimos el proceso de desarrollo, los desafíos superados y el impacto social anticipado de nuestro sistema en la promoción de una mayor inclusividad y comprensión.