SIGNIFY: aprovechamiento del aprendizaje automático y el reconocimiento de gestos para la enseñanza del lenguaje de señas a través de un juego serio
Autores: Ulrich, Luca; Carmassi, Giulio; Garelli, Paolo; Lo Presti, Gianluca; Ramondetti, Gioele; Marullo, Giorgia; Innocente, Chiara; Vezzetti, Enrico
Idioma: Inglés
Editor: Gianluigi Ferrari
Año: 2024
Acceso abierto
SIGNIFY: aprovechamiento del aprendizaje automático y el reconocimiento de gestos para la enseñanza del lenguaje de señas a través de un juego serio
Categoría
Subcategoría
Palabras clave
Licencia
Consultas: 25
Citaciones: Educación digital en la primera infancia
El artículo presenta SIGNIFY, una herramienta educativa basada en aprendizaje automático y reconocimiento de gestos orientada a la enseñanza de la Lengua de Señas Italiana (LIS) mediante un serious game dirigido a niños de primaria. El sistema combina un módulo tutorial para el aprendizaje del alfabeto manual y un juego tipo ahorcado que refuerza la práctica activa. La metodología se apoya en la detección de 21 puntos clave de la mano mediante MediaPipe y en la clasificación de gestos utilizando Random Forest, comparando el desempeño de dos sistemas de adquisición: cámaras RGB convencionales y cámaras RGB-D (Azure Kinect). Para ello, se desarrollaron bases de datos específicas y se evaluó la precisión, latencia y robustez del reconocimiento en tiempo real. Los resultados muestran altos niveles de exactitud (superiores al 99 %) en ambos enfoques, con ventajas adicionales del uso de información de profundidad en condiciones de iluminación variables. La evaluación con escolares evidencia una alta usabilidad, motivación y efectividad pedagógica, destacando el potencial de SIGNIFY como herramienta de educación inclusiva apoyada en tecnologías de inteligencia artificial y gamificación.
El artículo presenta SIGNIFY, una herramienta educativa basada en aprendizaje automático y reconocimiento de gestos orientada a la enseñanza de la Lengua de Señas Italiana (LIS) mediante un serious game dirigido a niños de primaria. El sistema combina un módulo tutorial para el aprendizaje del alfabeto manual y un juego tipo ahorcado que refuerza la práctica activa. La metodología se apoya en la detección de 21 puntos clave de la mano mediante MediaPipe y en la clasificación de gestos utilizando Random Forest, comparando el desempeño de dos sistemas de adquisición: cámaras RGB convencionales y cámaras RGB-D (Azure Kinect). Para ello, se desarrollaron bases de datos específicas y se evaluó la precisión, latencia y robustez del reconocimiento en tiempo real. Los resultados muestran altos niveles de exactitud (superiores al 99 %) en ambos enfoques, con ventajas adicionales del uso de información de profundidad en condiciones de iluminación variables. La evaluación con escolares evidencia una alta usabilidad, motivación y efectividad pedagógica, destacando el potencial de SIGNIFY como herramienta de educación inclusiva apoyada en tecnologías de inteligencia artificial y gamificación.