En los últimos años, el paradigma de la inteligencia artificial explicativa (XAI) está ganando un amplio interés en la investigación. La comunidad de procesamiento de lenguaje natural (NLP) también se acerca al cambio de paradigma: construir una serie de modelos que proporcionen una explicación de la decisión sobre alguna tarea principal, sin afectar el rendimiento. No es un trabajo fácil, especialmente cuando se involucran modelos muy poco interpretables, como los casi omnipresentes (al menos en la literatura de NLP de los últimos años) transformers. Aquí, proponemos dos metodologías basadas en transformers diferentes que explotan la jerarquía interna de los documentos para realizar una tarea de análisis de sentimientos mientras se extraen las oraciones más importantes (con respecto a la decisión del modelo) para construir un resumen como explicación de la salida. Para la primera arquitectura, colocamos dos transformers en cascada y aprovechamos los pesos de atención del segundo para construir el resumen. Para la otra arquitectura, empleamos un solo transformer para clasificar las oraciones individuales en el documento y luego combinamos las puntuaciones de probabilidad de cada una para realizar la clasificación y luego construir el resumen. Comparamos las dos metodologías utilizando el conjunto de datos de IMDB, tanto en términos de clasificación como de rendimiento explicativo. Para evaluar la parte explicativa, proponemos dos tipos de métricas, basadas en comparar los resúmenes de los modelos con anotaciones humanas. Reclutamos a cuatro operadores independientes para anotar algunos documentos recuperados del conjunto de datos original. Además, realizamos un estudio de ablación para resaltar cómo la implementación de algunas estrategias conduce a mejoras importantes en el rendimiento explicativo del modelo de transformers en cascada.