La popularidad de la tecnología de la información ha dado lugar a un creciente interés en la educación inteligente y ha proporcionado la posibilidad de combinar la educación en línea y fuera de línea. Los gráficos de conocimiento, una tecnología efectiva para la representación y gestión del conocimiento, se han utilizado con éxito para gestionar recursos educativos masivos. Sin embargo, la investigación existente sobre la construcción de gráficos de conocimiento educativo ignora múltiples modalidades y sus relaciones, como los discursos de los profesores y su relación con el conocimiento. Para abordar este problema, proponemos un enfoque automático para construir gráficos de conocimiento educativo multimodal que integren el discurso como un recurso modal para facilitar la reutilización de recursos educativos. Específicamente, primero proponemos un modelo de Representación de Codificador Bidireccional a partir de Transformadores (BERT) ajustado finamente basado en un léxico educativo, llamado EduBERT, que puede capturar de manera adaptativa información efectiva en el campo de la educación. También añadimos un Campo Aleatorio Condicional de Memoria a Largo y Corto Plazo Bidireccional (BiLSTM-CRF) para identificar de manera efectiva entidades educativas. Luego, la información de localización de la entidad se incorpora a BERT para extraer la relación educativa. Además, para cubrir la escasez de gráficos de conocimiento tradicionales basados en texto, nos enfocamos en recopilar discursos de profesores para construir un gráfico de conocimiento multimodal. Proponemos un método de fusión de discurso que vincula estos datos en el gráfico como una clase de entidades. Los resultados numéricos muestran que nuestro enfoque propuesto puede gestionar y presentar varios modos de recursos educativos y que puede proporcionar mejores servicios educativos.