HaCk: Clasificación de Gestos de Mano Usando un Modelo de Generación de Datos Basado en Red Neuronal Convolucional y Red Generativa Antagónica
Autores: Chatterjee, Kalyan; Raju, M.; Selvamuthukumaran, N.; Pramod, M.; Krishna Kumar, B.; Bandyopadhyay, Anjan; Mallik, Saurav
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
HaCk: Clasificación de Gestos de Mano Usando un Modelo de Generación de Datos Basado en Red Neuronal Convolucional y Red Generativa Antagónica
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Discapacidad visual
Gestos manuales
Red Generativa Antagónica
Red Neuronal Convolucional
Validación Cruzada Leave-One-Out
Validación Cruzada Holdout
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Según datos globales sobre discapacidad visual de la Organización Mundial de la Salud en 2010, se estima que 285 millones de individuos, incluidos 39 millones que son ciegos, enfrentan discapacidades visuales. Estas personas utilizan métodos sin contacto, como comandos de voz y gestos manuales, para interactuar con interfaces de usuario. Reconociendo la importancia del reconocimiento de gestos manuales para esta población vulnerable y con el objetivo de mejorar la usabilidad del usuario, este estudio emplea una Red Generativa Antagónica (GAN) junto con técnicas de Red Neuronal Convolucional (CNN) para generar un conjunto diverso de gestos manuales. Reconocer gestos manuales utilizando HaCk generalmente implica un enfoque de dos pasos. Primero, se entrena la GAN para generar imágenes sintéticas de gestos manuales, y luego se emplea una CNN separada para clasificar gestos en datos del mundo real. La evaluación de HaCk se demuestra a través de un análisis comparativo utilizando pruebas de Validación Cruzada Leave-One-Out (LOO CV) y Validación Cruzada Holdout (Holdout CV). Estas pruebas son cruciales para evaluar la generalización, robustez y adecuación del modelo para aplicaciones prácticas. Los resultados experimentales revelan que el rendimiento de HaCk supera al de otros modelos de ML/DL comparados, incluidos CNN, FTCNN, CDCGAN, GestureGAN, GGAN, MHG-CAN y modelos ASL. Específicamente, los porcentajes de mejora para la prueba LOO CV son 17.03%, 20.27%, 15.76%, 13.76%, 10.16%, 5.90% y 15.90%, respectivamente. De manera similar, para la prueba Holdout CV, HaCk supera a los modelos HU, ZM, GB, GB-ZM, GB-HU, CDCGAN, GestureGAN, GGAN, MHG-CAN y ASL, con porcentajes de mejora de 56.87%, 15.91%, 13.97%, 24.81%, 23.52%, 17.72%, 15.72%, 12.12%, 7.94% y 17.94%, respectivamente.
Descripción
Según datos globales sobre discapacidad visual de la Organización Mundial de la Salud en 2010, se estima que 285 millones de individuos, incluidos 39 millones que son ciegos, enfrentan discapacidades visuales. Estas personas utilizan métodos sin contacto, como comandos de voz y gestos manuales, para interactuar con interfaces de usuario. Reconociendo la importancia del reconocimiento de gestos manuales para esta población vulnerable y con el objetivo de mejorar la usabilidad del usuario, este estudio emplea una Red Generativa Antagónica (GAN) junto con técnicas de Red Neuronal Convolucional (CNN) para generar un conjunto diverso de gestos manuales. Reconocer gestos manuales utilizando HaCk generalmente implica un enfoque de dos pasos. Primero, se entrena la GAN para generar imágenes sintéticas de gestos manuales, y luego se emplea una CNN separada para clasificar gestos en datos del mundo real. La evaluación de HaCk se demuestra a través de un análisis comparativo utilizando pruebas de Validación Cruzada Leave-One-Out (LOO CV) y Validación Cruzada Holdout (Holdout CV). Estas pruebas son cruciales para evaluar la generalización, robustez y adecuación del modelo para aplicaciones prácticas. Los resultados experimentales revelan que el rendimiento de HaCk supera al de otros modelos de ML/DL comparados, incluidos CNN, FTCNN, CDCGAN, GestureGAN, GGAN, MHG-CAN y modelos ASL. Específicamente, los porcentajes de mejora para la prueba LOO CV son 17.03%, 20.27%, 15.76%, 13.76%, 10.16%, 5.90% y 15.90%, respectivamente. De manera similar, para la prueba Holdout CV, HaCk supera a los modelos HU, ZM, GB, GB-ZM, GB-HU, CDCGAN, GestureGAN, GGAN, MHG-CAN y ASL, con porcentajes de mejora de 56.87%, 15.91%, 13.97%, 24.81%, 23.52%, 17.72%, 15.72%, 12.12%, 7.94% y 17.94%, respectivamente.