Continua la preentrenamiento de modelos de lenguaje para el aprendizaje de conceptos previos con redes neuronales gráficas
Autores: Tang, Xin; Liu, Kunjia; Xu, Hao; Xiao, Weidong; Tan, Zhen
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Continua la preentrenamiento de modelos de lenguaje para el aprendizaje de conceptos previos con redes neuronales gráficas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Cadenas de requisitos previos
Adquirir nuevos conocimientos de manera eficiente
Conocimiento relacionado con el dominio
Modelos de lenguaje pre-entrenados
Información semántica
Información estructural
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Las cadenas de prerrequisitos son cruciales para adquirir nuevos conocimientos de manera eficiente. Muchos estudios se han dedicado a identificar automáticamente las relaciones de prerrequisitos entre conceptos a partir de datos educativos. Aunque son efectivos hasta cierto punto, estos métodos han descuidado dos factores clave: la mayoría de los trabajos han fallado en utilizar el conocimiento relacionado con el dominio para mejorar los modelos de lenguaje preentrenados, haciendo así menos efectiva la representación textual de los conceptos; también ignoran la fusión de la información semántica y la información estructural formada por los prerrequisitos existentes.
Descripción
Las cadenas de prerrequisitos son cruciales para adquirir nuevos conocimientos de manera eficiente. Muchos estudios se han dedicado a identificar automáticamente las relaciones de prerrequisitos entre conceptos a partir de datos educativos. Aunque son efectivos hasta cierto punto, estos métodos han descuidado dos factores clave: la mayoría de los trabajos han fallado en utilizar el conocimiento relacionado con el dominio para mejorar los modelos de lenguaje preentrenados, haciendo así menos efectiva la representación textual de los conceptos; también ignoran la fusión de la información semántica y la información estructural formada por los prerrequisitos existentes.