logo móvil
Contáctanos

SIGNIFY: aprovechamiento del aprendizaje automático y el reconocimiento de gestos para la enseñanza del lenguaje de señas a través de un juego serio

Autores: Ulrich, Luca; Carmassi, Giulio; Garelli, Paolo; Lo Presti, Gianluca; Ramondetti, Gioele; Marullo, Giorgia; Innocente, Chiara; Vezzetti, Enrico

Idioma: Inglés

Editor: Gianluigi Ferrari

Año: 2024

Ver Artículo OA

Acceso abierto

Artículo OA
2024

SIGNIFY: aprovechamiento del aprendizaje automático y el reconocimiento de gestos para la enseñanza del lenguaje de señas a través de un juego serio


Categoría

Ingeniería y Tecnología

Subcategoría

Inteligencia Artificial

Palabras clave

Alfabeto de señas
Inclusión social
Aprendizaje automático
Reconocimiento de gestos
Gamificación
Juego serio

Licencia

CC BY – Atribución

Consultas: 25

Citaciones: Educación digital en la primera infancia


Descripción

El artículo presenta SIGNIFY, una herramienta educativa basada en aprendizaje automático y reconocimiento de gestos orientada a la enseñanza de la Lengua de Señas Italiana (LIS) mediante un serious game dirigido a niños de primaria. El sistema combina un módulo tutorial para el aprendizaje del alfabeto manual y un juego tipo ahorcado que refuerza la práctica activa. La metodología se apoya en la detección de 21 puntos clave de la mano mediante MediaPipe y en la clasificación de gestos utilizando Random Forest, comparando el desempeño de dos sistemas de adquisición: cámaras RGB convencionales y cámaras RGB-D (Azure Kinect). Para ello, se desarrollaron bases de datos específicas y se evaluó la precisión, latencia y robustez del reconocimiento en tiempo real. Los resultados muestran altos niveles de exactitud (superiores al 99 %) en ambos enfoques, con ventajas adicionales del uso de información de profundidad en condiciones de iluminación variables. La evaluación con escolares evidencia una alta usabilidad, motivación y efectividad pedagógica, destacando el potencial de SIGNIFY como herramienta de educación inclusiva apoyada en tecnologías de inteligencia artificial y gamificación.

Otros recursos que podrían interesarte

Temas Virtualpro