Las plataformas de aprendizaje en línea proporcionan diversos recursos de cursos, pero esto a menudo resulta en el problema de la sobrecarga de información. Los alumnos siempre desean aprender cursos que sean apropiados para su nivel de conocimiento y preferencias de manera rápida y precisa. La recomendación efectiva de cursos juega un papel clave en ayudar a los alumnos a seleccionar cursos apropiados y mejorar la eficiencia del aprendizaje en línea. Sin embargo, cuando un usuario está inscrito en varios cursos, los métodos de recomendación de cursos existentes enfrentan el desafío de recomendar con precisión el curso objetivo que es más relevante para el usuario debido a los cursos ruidosos. En este documento, proponemos un nuevo modelo de aprendizaje por refuerzo llamado Aprendizaje Jerárquico por Refuerzo Actor-Crítico (ACHRL). El modelo incorpora el método actor-crítico para construir el revisor de perfiles. Esto puede eliminar los cursos ruidosos y hacer recomendaciones personalizadas de cursos de manera efectiva. Además, proponemos un gradiente de política basado en el error de diferencia temporal para reducir la varianza en el proceso de entrenamiento, acelerar la convergencia del modelo y mejorar la precisión de la recomendación. Evaluamos el modelo propuesto utilizando dos conjuntos de datos reales, y los resultados experimentales muestran que el modelo propuesto supera significativamente a los modelos de recomendación existentes (mejorando del 3.77% al 13.66% en términos de HR@5).