Una arquitectura para la tutoría inteligente en realidad virtual: integrando LLMs e interacción multimodal para un aprendizaje inmersivo
Autores: El Hajji, Mohamed; Ait Baha, Tarek; Berka, Anas; Ait Nacer, Hassan; El Aouifi, Houssam; Es-Saady, Youssef
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Una arquitectura para la tutoría inteligente en realidad virtual: integrando LLMs e interacción multimodal para un aprendizaje inmersivo
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje inmersivo
Vr
Tutoría inteligente
Npc
Interacciones impulsadas por ia
Educación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El aprendizaje inmersivo ha sido reconocido como un paradigma prometedor para mejorar las experiencias educativas a través de la integración de la realidad virtual (VR). Proponemos una arquitectura para la tutoría inteligente en entornos inmersivos de VR que emplea personajes no jugables basados en modelos de lenguaje de gran tamaño (LLM). Se identifican las capacidades clave del sistema, incluyendo la comprensión del lenguaje natural, el diálogo adaptativo en tiempo real y la interacción multimodal a través del seguimiento de manos, la detección de la mirada y la retroalimentación háptica. El sistema sincroniza la salida de voz con las animaciones de los NPC, mejorando tanto el realismo de la interacción como la inmersión cognitiva. Este diseño demuestra que las interacciones de VR impulsadas por IA pueden mejorar significativamente el compromiso del aprendiz. El rendimiento del sistema fue generalmente estable; sin embargo, se observó una ligera latencia durante el procesamiento del habla, lo que indica áreas para un refinamiento técnico. En general, esta investigación destaca el potencial transformador de la VR en la educación y enfatiza la importancia de la optimización continua para maximizar su efectividad en contextos de aprendizaje inmersivo.
Descripción
El aprendizaje inmersivo ha sido reconocido como un paradigma prometedor para mejorar las experiencias educativas a través de la integración de la realidad virtual (VR). Proponemos una arquitectura para la tutoría inteligente en entornos inmersivos de VR que emplea personajes no jugables basados en modelos de lenguaje de gran tamaño (LLM). Se identifican las capacidades clave del sistema, incluyendo la comprensión del lenguaje natural, el diálogo adaptativo en tiempo real y la interacción multimodal a través del seguimiento de manos, la detección de la mirada y la retroalimentación háptica. El sistema sincroniza la salida de voz con las animaciones de los NPC, mejorando tanto el realismo de la interacción como la inmersión cognitiva. Este diseño demuestra que las interacciones de VR impulsadas por IA pueden mejorar significativamente el compromiso del aprendiz. El rendimiento del sistema fue generalmente estable; sin embargo, se observó una ligera latencia durante el procesamiento del habla, lo que indica áreas para un refinamiento técnico. En general, esta investigación destaca el potencial transformador de la VR en la educación y enfatiza la importancia de la optimización continua para maximizar su efectividad en contextos de aprendizaje inmersivo.