Los arquitecturas actuales de traducción automática neuronal (NMT) generalmente no tienen en cuenta el contexto a nivel de documento. Sin embargo, el contexto a nivel de documento de una oración fuente que se va a traducir podría codificar información valiosa para guiar al modelo de MT a generar una mejor traducción. En tiempos recientes, los investigadores de MT han centrado su atención en esta línea de investigación. Como ejemplo, los modelos de red de atención jerárquica (HAN) utilizan el contexto a nivel de documento para la predicción de traducción. En este trabajo, estudiamos las traducciones producidas por los sistemas de MT basados en HAN. Examinamos cómo la información contextual mejora la traducción en NMT a nivel de documento. Más específicamente, investigamos por qué los modelos conscientes del contexto, como HAN, funcionan mejor que los sistemas de NMT básicos que no tienen en cuenta el contexto. Consideramos el hindi-inglés, español-inglés y chino-inglés para nuestra investigación. Experimentamos con la formación de contexto condicional (es decir, oraciones vecinas) de las oraciones fuente que se van a traducir en HAN para predecir sus traducciones objetivo. Curiosamente, observamos que la calidad de las traducciones objetivo de oraciones fuente específicas se relaciona en gran medida con el contexto en el que aparecen las oraciones fuente. Basándonos en su sensibilidad al contexto, clasificamos nuestras oraciones del conjunto de pruebas en tres categorías, es decir, sensibles al contexto, insensibles al contexto y normales. Creemos que esta categorización puede cambiar la forma en que se utiliza el contexto en la traducción a nivel de documento.