Se ha realizado una considerable investigación para obtener traducciones que reflejen información contextual en documentos e interpretaciones simultáneas. La mayoría de los estudios existentes utilizan datos de concatenación que fusionan oraciones anteriores y actuales para entrenar modelos de traducción. Aunque este corpus mejora el rendimiento del modelo, ignorar la correlación contextual entre las oraciones puede perturbar el rendimiento de la traducción. En este estudio, presentamos un método simple y efectivo para capturar la correlación contextual de la oración a nivel de documento de la oración actual, aprendiendo así una representación contextual efectiva. Además, la estructura del modelo propuesto se aplica a una red de conexión residual separada para minimizar la pérdida de la influencia beneficiosa de incorporar el contexto. Los resultados experimentales muestran que nuestros métodos mejoran el rendimiento de la traducción en comparación con la línea base del estado del arte del Transformer en varias tareas de traducción y dos tareas de traducción automática de referencia.