El modelo de lenguaje natural BERT utiliza un corpus no supervisado a gran escala para acumular un rico conocimiento lingüístico durante su etapa de preentrenamiento, y luego, la información se ajusta para tareas específicas, lo que mejora enormemente la capacidad de comprensión de diversas tareas de lenguaje natural. Para algunas tareas específicas, la capacidad del modelo puede mejorarse al introducir conocimiento externo. De hecho, se han propuesto métodos como ERNIE para integrar gráficos de conocimiento en los modelos BERT, lo que ha mejorado significativamente sus capacidades en tareas relacionadas como el reconocimiento de entidades. Sin embargo, para dos tipos de tareas, el razonamiento causal de sentido común y la predicción del final de historias, pocos estudios anteriores han combinado la modificación del modelo y la optimización del proceso para integrar conocimiento externo. Por lo tanto, haciendo referencia a ERNIE, en este documento proponemos una representación de lenguaje mejorada con cadenas de eventos (EREC), que se centra en las palabras clave en el corpus de texto y sus relaciones implícitas. Las cadenas de eventos se integran en EREC como conocimiento externo. Además, se utilizan diversas redes gráficas para generar incrustaciones y asociar palabras clave en el corpus. Finalmente, a través del entrenamiento multitarea, se integra conocimiento externo en el modelo generado en la etapa de preentrenamiento para mejorar el efecto del modelo en tareas posteriores. El proceso experimental del modelo EREC se lleva a cabo con un diseño de tres etapas, y los resultados experimentales muestran que EREC tiene una comprensión más profunda de la relación causal y la relación de eventos contenida en el texto al integrar las cadenas de eventos, y logró mejoras significativas en dos tareas específicas.