En este estudio, se lleva a cabo una evaluación humana sobre cómo las configuraciones de hiperparámetros impactan la calidad de la Traducción Automática Neuronal (NMT) basada en Transformadores para el par de idiomas inglés-irlandés de bajos recursos. Se evaluaron modelos de SentencePiece utilizando tanto enfoques de Codificación por Pares de Bytes (BPE) como de unigramas. Las variaciones en las arquitecturas de los modelos incluyeron la modificación del número de capas, la evaluación del número óptimo de cabezas para la atención y la prueba de diversas técnicas de regularización. La mayor mejora en el rendimiento se registró para un modelo optimizado de Transformador con un modelo de subpalabras BPE de 16k. En comparación con un modelo de Red Neuronal Recurrente (RNN) de referencia, un modelo optimizado de Transformador demostró una mejora de 7.8 puntos en la puntuación BLEU. Cuando se comparó con Google Translate, nuestros motores de traducción demostraron mejoras significativas. Además, se llevó a cabo una evaluación manual cuantitativa detallada que comparó el rendimiento de los sistemas de traducción automática. Utilizando la taxonomía de errores de Métricas de Calidad Multidimensional (MQM), se exploró una evaluación humana de los tipos de errores generados por un sistema basado en RNN y un sistema basado en Transformadores. Nuestros hallazgos muestran que el sistema de Transformador de mejor rendimiento reduce significativamente tanto los errores de precisión como de fluidez en comparación con un modelo basado en RNN.