El papel de la tecnología en la formación de traductores se ha vuelto cada vez más significativo a medida que la traducción automática (TA) evoluciona a un ritmo acelerado. Más allá del uso práctico de herramientas, la formación ahora debe preparar a los estudiantes para interactuar de manera crítica con los resultados de la TA y comprender las dimensiones socio-técnicas de la traducción. La evaluación de la TA a nivel de oración, a menudo realizada en segmentos aislados, puede pasar por alto errores a nivel de discurso o producir puntuaciones engañosamente altas para oraciones que parecen correctas de forma aislada pero son inexactas dentro del discurso más amplio. La evaluación de la TA a nivel de documento ha surgido como un enfoque que ofrece una perspectiva más precisa al tener en cuenta el contexto. Este artículo presenta la integración de la evaluación de TA consciente del contexto en un módulo de traducción a nivel de máster, en el que los estudiantes realizaron un ejercicio estructurado comparando metodologías a nivel de oración y a nivel de documento, apoyados por informes reflexivos. El objetivo era familiarizar a los estudiantes con técnicas de evaluación conscientes del contexto, exponer las limitaciones de la evaluación de oraciones individuales y fomentar una comprensión más matizada de la calidad de la traducción. Este estudio proporciona ideas metodológicas para incorporar la formación en evaluación de TA en la educación de traductores y destaca cómo tales ejercicios pueden desarrollar una conciencia crítica sobre las limitaciones contextuales de la TA. También ofrece un marco para apoyar a los estudiantes en la construcción de las habilidades analíticas necesarias para evaluar la salida de la TA en entornos profesionales y de investigación.