logo móvil
Contáctanos

Signsability: Mejorando la Comunicación a través de una Aplicación de Lengua de Señas

Autores: Ezra, Din; Mastitz, Shai; Rabaev, Irina

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Signsability: Mejorando la Comunicación a través de una Aplicación de Lengua de Señas


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Integración
Sistemas de reconocimiento de lenguaje de señas
Plataformas digitales
Lengua de Señas Israelí (ISL)
Aprendizaje profundo
Visión por Computadora

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 45

Citaciones: Sin citaciones


Descripción
La integración de sistemas de reconocimiento de lenguaje de señas en plataformas digitales tiene el potencial de cerrar las brechas de comunicación entre la comunidad sorda y la población en general. Este documento presenta un sistema avanzado de reconocimiento de Lengua de Señas Israelí (ISL) diseñado para interpretar gestos de movimiento dinámico, abordando una necesidad crítica de herramientas de comunicación más sofisticadas y fluidas. A diferencia de los sistemas convencionales que se centran únicamente en signos estáticos, nuestro enfoque incorpora tanto técnicas de aprendizaje profundo como de visión por computadora para analizar y traducir gestos dinámicos capturados en video en tiempo real. Proporcionamos un relato completo de nuestra pipeline de preprocesamiento, detallando cada etapa desde la recolección de video hasta la extracción de puntos de referencia utilizando MediaPipe, incluyendo las ecuaciones matemáticas utilizadas para el preprocesamiento de estos puntos de referencia y el proceso final de reconocimiento. El conjunto de datos utilizado para entrenar nuestro modelo es único en su exhaustividad y es de acceso público, mejorando la reproducibilidad y expansión de futuras investigaciones. El despliegue de nuestro modelo en un sitio web de acceso público permite a los usuarios interactuar con ISL de manera interactiva, facilitando tanto el aprendizaje como la práctica. Discutimos el proceso de desarrollo, los desafíos superados y el impacto social anticipado de nuestro sistema en la promoción de una mayor inclusividad y comprensión.

Otros recursos que podrían interesarte

Temas Virtualpro