logo móvil
Contáctanos

Mifm: modelo de fusión de información multimodal para ejercicios educativos

Autores: Song, Jianfeng; Chen, Hui; Li, Chuan; Xie, Kun

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Mifm: modelo de fusión de información multimodal para ejercicios educativos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Ejercicios educativos
Educación en línea
Texto e imágenes
Características de los ejercicios
Fusión de información multimodal
Modelo MIFM

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 43

Citaciones: Sin citaciones


Descripción
Los ejercicios educativos son factores cruciales en la implementación exitosa de la educación en línea, ya que desempeñan un papel clave en la evaluación del aprendizaje de los estudiantes y en el apoyo a los profesores en la instrucción. Estos ejercicios abarcan dos tipos principales de datos: texto e imágenes. Sin embargo, los métodos existentes para extraer características de los ejercicios solo se centran en los datos textuales, descuidando la rica información semántica presente en los datos de imagen. En consecuencia, el vector de caracterización del ejercicio generado por estos métodos lucha por caracterizar completamente el ejercicio. Para abordar estas limitaciones, este artículo propone un modelo de caracterización de ejercicios basado en la fusión de información multimodal llamado MIFM. El modelo MIFM aborda los desafíos de los métodos actuales de modelado de ejercicios realizando operaciones de extracción y fusión en las características heterogéneas presentes en los ejercicios. Emplea una arquitectura de doble flujo para extraer características por separado de las imágenes y el texto, y establece conexiones entre los datos heterogéneos utilizando métodos de atención entre modalidades. Finalmente, las características heterogéneas se fusionan utilizando un Bi-LSTM combinado con un mecanismo de atención de varias cabezas. El modelo resultante produce un vector de caracterización de ejercicio multimodal que fusiona ambas modalidades e incorpora tres elementos de conocimiento. En los experimentos, al utilizar el modelo para reemplazar los módulos de caracterización de ejercicios en las tres tareas educativas, específicamente, se logra un valor de ACC aumentado del 72.35% en la tarea de mapeo de conocimientos, un valor de PCC elevado del 46.83% en la tarea de predicción de dificultad de ejercicio y un valor de AUC elevado del 62.57% en la tarea de predicción del rendimiento del estudiante.

Otros recursos que podrían interesarte

Temas Virtualpro