Los sistemas de recomendación han ganado mucha popularidad debido a su amplia adopción en diversas industrias como el entretenimiento y el turismo. Numerosos esfuerzos de investigación se han centrado en formular y avanzar en el estado del arte de los sistemas que recomiendan el conjunto adecuado de artículos a la persona adecuada. Sin embargo, estos sistemas de recomendación son difíciles de comparar ya que los resultados de evaluación publicados se calculan en conjuntos de datos diversos y se obtienen utilizando diferentes metodologías. En este artículo, investigamos y prototipamos un marco de evaluación fuera de línea llamado Sequeval que está diseñado para evaluar sistemas de recomendación capaces de sugerir secuencias de artículos. Proporcionamos una definición matemática de tales recomendadores basados en secuencias, una metodología para realizar su evaluación y los detalles de implementación de ocho métricas. Informamos sobre las lecciones aprendidas utilizando este marco para evaluar el rendimiento de cuatro líneas base y dos sistemas de recomendación basados en Campos Aleatorios Condicionales (CRF) y Redes Neuronales Recurrentes (RNN), considerando dos conjuntos de datos diferentes. Sequeval está disponible públicamente y tiene como objetivo convertirse en un punto focal para investigadores y profesionales al experimentar con sistemas de recomendación basados en secuencias, proporcionando resultados de evaluación comparables y objetivos.