La comprensión de textos es una habilidad esencial en el mundo rico en información de hoy, y la práctica de autoexplicación ayuda a los estudiantes a mejorar su comprensión de textos complejos. Este estudio se centró en aprovechar modelos de lenguaje de código abierto (LLMs), específicamente FLAN-T5, para evaluar automáticamente las estrategias de comprensión empleadas por los lectores al entender textos de Ciencia, Tecnología, Ingeniería y Matemáticas (STEM). Los experimentos se basaron en un corpus de tres conjuntos de datos (N = 11,833) con autoexplicaciones anotadas en 4 dimensiones: 3 estrategias de comprensión (es decir, conexión, elaboración y paráfrasis) y calidad general. Además de FLAN-T5, también consideramos GPT3.5-turbo para establecer una base más sólida. Nuestros experimentos indicaron que el rendimiento mejoró con el ajuste fino, al tener un modelo LLM más grande y al proporcionar ejemplos a través del aviso. Nuestro mejor modelo consideró un modelo FLAN-T5 XXL preentrenado y obtuvo un puntaje F1 ponderado de 0.721, superando el puntaje F1 de 0.699 obtenido previamente utilizando modelos más pequeños (es decir, RoBERTa).