La biblioteca digital, como una de las formas más importantes de ayudar a los estudiantes a adquirir conocimientos profesionales y mejorar su nivel profesional, ha ganado gran atención en los últimos años. Sin embargo, su gran colección (especialmente los recursos bibliográficos) dificulta que los estudiantes encuentren los recursos que les interesan. Para superar este desafío, muchos investigadores ya han recurrido a algoritmos de recomendación. En comparación con las tareas de recomendación tradicionales, en la biblioteca digital hay dos desafíos en los problemas de recomendación de libros. El primero es que los usuarios pueden pedir prestados libros que no les interesan (es decir, comportamientos de préstamo ruidosos), como pedir prestados libros para compañeros de clase. El segundo es que el número de libros en una biblioteca digital suele ser muy grande, lo que significa que un estudiante solo puede pedir prestados un pequeño conjunto de libros en la historia (es decir, el problema de la escasez de datos). Dado que las interacciones ruidosas en las secuencias de préstamos de los estudiantes pueden perjudicar el rendimiento de recomendación de un recomendador de libros, nos enfocamos en refinar las recomendaciones mediante la filtración de ruidos en los datos. Además, debido a la falta de información de supervisión directa, tratamos la filtración de ruido en las secuencias como un proceso de toma de decisiones e introducimos de manera innovadora un método de aprendizaje por refuerzo como nuestro marco de recomendación. Además, para superar el problema de escasez de los comportamientos de préstamo de los estudiantes, se desarrolla un algoritmo de aprendizaje por refuerzo basado en agrupamiento. Los resultados experimentales en dos conjuntos de datos del mundo real demuestran la superioridad de nuestro método propuesto en comparación con varios métodos de recomendación de vanguardia.