La resumición de texto es un proceso que produce una versión concisa de un texto (resumen) a partir de una o más fuentes de información. Si el resumen generado preserva el significado del texto original, ayudará a los usuarios a tomar decisiones rápidas y efectivas. Sin embargo, evaluar cuánto significado del texto fuente se puede preservar se está volviendo más difícil. Las métricas de evaluación automática más comúnmente utilizadas, como Recall-Oriented Understudy for Gisting Evaluation (ROUGE), dependen estrictamente de las unidades de n-gramas superpuestas entre los resúmenes de referencia y los candidatos, lo que no es adecuado para medir la calidad de los resúmenes abstractivos. Otro gran desafío para evaluar los sistemas de resumición de texto es la falta de resúmenes de referencia ideales consistentes. Los estudios muestran que los resumidores humanos pueden producir resúmenes de referencia variables del mismo origen que pueden afectar significativamente las puntuaciones de las métricas de evaluación automática de los sistemas de resumición. Los humanos están sesgados hacia ciertas situaciones al producir un resumen, incluso la misma persona puede producir resúmenes sustancialmente diferentes del mismo origen en diferentes momentos. Este documento propone un marco de resumición y evaluación automática de texto basado en incrustaciones de palabras, que puede determinar con éxito las oraciones más relevantes de un texto fuente como un resumen de referencia y evaluar la calidad de los resúmenes de los sistemas en comparación con él. Resultados experimentales extensos demuestran que el marco propuesto es efectivo y capaz de superar varios métodos de referencia en cuanto a los sistemas de resumición de texto y las métricas de evaluación automática cuando se prueba en un conjunto de datos disponible públicamente.