El procesamiento del lenguaje natural (NLP) tiene numerosas aplicaciones y ha sido ampliamente desarrollado en el aprendizaje profundo. En los últimos años, modelos de lenguaje como Transformer, BERT y GPT han sido frecuentemente la base de investigaciones relacionadas. Sin embargo, relativamente pocos estudios se han centrado en evaluar la calidad de las oraciones generadas. Aunque se pueden aplicar métodos de evaluación tradicionales como BLEU, el desafío es que no hay una referencia de verdad absoluta para las oraciones generadas, lo que dificulta establecer un criterio de evaluación confiable. Por lo tanto, este estudio examina el contenido generado por Representaciones de Codificador Bidireccional y métodos recurrentes relacionados basados en el modelo Transformer. Específicamente, nos enfocamos en analizar la fluidez de las oraciones evaluando el grado de coincidencia de las partes del discurso (PoS) y la coherencia del ordenamiento del contexto de PoS. Determinar si las oraciones generadas se alinean con la estructura esperada de PoS del modelo es crucial, ya que impacta significativamente la legibilidad del texto generado.