Gest-SAR: Un sistema de AR espacial controlado por gestos para la guía de ensamblaje manual interactivo con retroalimentación operativa en tiempo real
Autores: Hasan, Naimul; Alkan, Bugra
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Gest-SAR: Un sistema de AR espacial controlado por gestos para la guía de ensamblaje manual interactivo con retroalimentación operativa en tiempo real
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Ensamblaje manual
Realidad aumentada espacial
Gest-sar
Retroalimentación en tiempo real
Tasas de error
Carga cognitiva
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
El ensamblaje manual sigue siendo esencial en la fabricación moderna, sin embargo, la creciente complejidad de la producción personalizada impone cargas cognitivas significativas y tasas de error en los trabajadores. Los sistemas existentes de Realidad Aumentada Espacial (SAR) a menudo operan de manera pasiva, careciendo de interacción adaptativa, retroalimentación en tiempo real y un sistema de control con gestos. En respuesta, presentamos Gest-SAR, un marco SAR que integra un modelo de clasificación de gestos basado en MediaPipe para ofrecer instrucciones de ensamblaje guiadas por luz adaptativa y retroalimentación de errores en tiempo real dentro de una instancia de interacción en bucle cerrado. En un estudio dentro de sujetos, diez participantes completaron tareas de ensamblaje estandarizadas basadas en Duplo utilizando Gest-SAR, manuales en papel e instrucciones en tabletas; el rendimiento se evaluó a través del tiempo de ciclo de ensamblaje, tasas de error en la selección y colocación, carga cognitiva evaluada por NASA-TLX y prueba de usabilidad mediante cuestionarios post-experimentales. Los resultados cuantitativos demuestran que Gest-SAR reduce significativamente los tiempos de ciclo con un promedio de 3.95 minutos en comparación con el papel (Media = 7.89 minutos, < 0.01) y la tableta (Media = 6.99 minutos, < 0.01). También logró tasas de error promedio 7 veces menores mientras disminuía la carga cognitiva percibida (< 0.05 para la demanda mental) en comparación con modalidades convencionales. En total, el 90% de los usuarios coincidieron en preferir SAR sobre las modalidades de papel y tableta. Estos resultados indican que la interacción natural con gestos de la mano, junto con la retroalimentación visual en tiempo real, mejora tanto la eficiencia como la precisión del ensamblaje manual. Al incorporar el reconocimiento de gestos impulsado por IA y la proyección de AR en un sistema de asistencia centrado en el ser humano, Gest-SAR avanza en la interacción colaborativa entre humanos y máquinas, alineándose con los objetivos de la Industria 5.0 de fabricación resiliente, sostenible e inteligente.
Descripción
El ensamblaje manual sigue siendo esencial en la fabricación moderna, sin embargo, la creciente complejidad de la producción personalizada impone cargas cognitivas significativas y tasas de error en los trabajadores. Los sistemas existentes de Realidad Aumentada Espacial (SAR) a menudo operan de manera pasiva, careciendo de interacción adaptativa, retroalimentación en tiempo real y un sistema de control con gestos. En respuesta, presentamos Gest-SAR, un marco SAR que integra un modelo de clasificación de gestos basado en MediaPipe para ofrecer instrucciones de ensamblaje guiadas por luz adaptativa y retroalimentación de errores en tiempo real dentro de una instancia de interacción en bucle cerrado. En un estudio dentro de sujetos, diez participantes completaron tareas de ensamblaje estandarizadas basadas en Duplo utilizando Gest-SAR, manuales en papel e instrucciones en tabletas; el rendimiento se evaluó a través del tiempo de ciclo de ensamblaje, tasas de error en la selección y colocación, carga cognitiva evaluada por NASA-TLX y prueba de usabilidad mediante cuestionarios post-experimentales. Los resultados cuantitativos demuestran que Gest-SAR reduce significativamente los tiempos de ciclo con un promedio de 3.95 minutos en comparación con el papel (Media = 7.89 minutos, < 0.01) y la tableta (Media = 6.99 minutos, < 0.01). También logró tasas de error promedio 7 veces menores mientras disminuía la carga cognitiva percibida (< 0.05 para la demanda mental) en comparación con modalidades convencionales. En total, el 90% de los usuarios coincidieron en preferir SAR sobre las modalidades de papel y tableta. Estos resultados indican que la interacción natural con gestos de la mano, junto con la retroalimentación visual en tiempo real, mejora tanto la eficiencia como la precisión del ensamblaje manual. Al incorporar el reconocimiento de gestos impulsado por IA y la proyección de AR en un sistema de asistencia centrado en el ser humano, Gest-SAR avanza en la interacción colaborativa entre humanos y máquinas, alineándose con los objetivos de la Industria 5.0 de fabricación resiliente, sostenible e inteligente.