Proporcionar comparaciones justas y convenientes entre algoritmos de recomendación, donde los algoritmos podrían centrarse en una dimensión tradicional (precisión) y/o en dimensiones menos tradicionales (por ejemplo, novedad, diversidad, serendipia, etc.), es un desafío clave en los recientes desarrollos de sistemas de recomendación. Este artículo se centra en la novedad y presenta un nuevo modelo más cercano a la realidad para evaluar la calidad de un algoritmo de recomendación al reducir el sesgo de popularidad inherente a los marcos de evaluación de conjuntos de entrenamiento/prueba tradicionales, que están sesgados por la dominancia de artículos populares y sus características inherentes. En el modelo sugerido, cada interacción tiene una probabilidad de ser incluida en el conjunto de prueba que depende aleatoriamente de una característica específica relacionada con la dimensión enfocada (novedad en este trabajo). El objetivo de este artículo es reconciliar, en términos de evaluación (y por lo tanto comparación), las dimensiones de precisión y novedad de los algoritmos de recomendación, lo que lleva a una comparación más realista de su rendimiento. Los resultados obtenidos de dos conjuntos de datos bien conocidos muestran la evolución del comportamiento de los algoritmos de clasificación de vanguardia cuando la novedad se da progresivamente, y de manera justa, más importancia en el procedimiento de evaluación, y podrían llevar a cambios potenciales en los procesos de decisión de organizaciones que involucran sistemas de recomendación.