Mifm: modelo de fusión de información multimodal para ejercicios educativos
Autores: Song, Jianfeng; Chen, Hui; Li, Chuan; Xie, Kun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mifm: modelo de fusión de información multimodal para ejercicios educativos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Ejercicios educativos
Educación en línea
Texto e imágenes
Características de los ejercicios
Fusión de información multimodal
Modelo MIFM
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Los ejercicios educativos son factores cruciales en la implementación exitosa de la educación en línea, ya que desempeñan un papel clave en la evaluación del aprendizaje de los estudiantes y en el apoyo a los profesores en la instrucción. Estos ejercicios abarcan dos tipos principales de datos: texto e imágenes. Sin embargo, los métodos existentes para extraer características de los ejercicios solo se centran en los datos textuales, descuidando la rica información semántica presente en los datos de imagen. En consecuencia, el vector de caracterización del ejercicio generado por estos métodos lucha por caracterizar completamente el ejercicio. Para abordar estas limitaciones, este artículo propone un modelo de caracterización de ejercicios basado en la fusión de información multimodal llamado MIFM. El modelo MIFM aborda los desafíos de los métodos actuales de modelado de ejercicios realizando operaciones de extracción y fusión en las características heterogéneas presentes en los ejercicios. Emplea una arquitectura de doble flujo para extraer características por separado de las imágenes y el texto, y establece conexiones entre los datos heterogéneos utilizando métodos de atención entre modalidades. Finalmente, las características heterogéneas se fusionan utilizando un Bi-LSTM combinado con un mecanismo de atención de varias cabezas. El modelo resultante produce un vector de caracterización de ejercicio multimodal que fusiona ambas modalidades e incorpora tres elementos de conocimiento. En los experimentos, al utilizar el modelo para reemplazar los módulos de caracterización de ejercicios en las tres tareas educativas, específicamente, se logra un valor de ACC aumentado del 72.35% en la tarea de mapeo de conocimientos, un valor de PCC elevado del 46.83% en la tarea de predicción de dificultad de ejercicio y un valor de AUC elevado del 62.57% en la tarea de predicción del rendimiento del estudiante.
Descripción
Los ejercicios educativos son factores cruciales en la implementación exitosa de la educación en línea, ya que desempeñan un papel clave en la evaluación del aprendizaje de los estudiantes y en el apoyo a los profesores en la instrucción. Estos ejercicios abarcan dos tipos principales de datos: texto e imágenes. Sin embargo, los métodos existentes para extraer características de los ejercicios solo se centran en los datos textuales, descuidando la rica información semántica presente en los datos de imagen. En consecuencia, el vector de caracterización del ejercicio generado por estos métodos lucha por caracterizar completamente el ejercicio. Para abordar estas limitaciones, este artículo propone un modelo de caracterización de ejercicios basado en la fusión de información multimodal llamado MIFM. El modelo MIFM aborda los desafíos de los métodos actuales de modelado de ejercicios realizando operaciones de extracción y fusión en las características heterogéneas presentes en los ejercicios. Emplea una arquitectura de doble flujo para extraer características por separado de las imágenes y el texto, y establece conexiones entre los datos heterogéneos utilizando métodos de atención entre modalidades. Finalmente, las características heterogéneas se fusionan utilizando un Bi-LSTM combinado con un mecanismo de atención de varias cabezas. El modelo resultante produce un vector de caracterización de ejercicio multimodal que fusiona ambas modalidades e incorpora tres elementos de conocimiento. En los experimentos, al utilizar el modelo para reemplazar los módulos de caracterización de ejercicios en las tres tareas educativas, específicamente, se logra un valor de ACC aumentado del 72.35% en la tarea de mapeo de conocimientos, un valor de PCC elevado del 46.83% en la tarea de predicción de dificultad de ejercicio y un valor de AUC elevado del 62.57% en la tarea de predicción del rendimiento del estudiante.