El control de seguimiento de la función de densidad de probabilidad de salida presenta desafíos significativos, especialmente cuando se trata de modelos de sistemas desconocidos y perturbaciones de ruido multiplicativo. Para abordar estos desafíos, este documento presenta un nuevo algoritmo de control de seguimiento basado en el aprendizaje Q de refuerzo. Inicialmente, se emplea un modelo de B-spline para representar el sistema original, transformando así el problema de control en un problema de seguimiento de peso de estado dentro del modelo estocástico de sistema B-spline. Además, para abordar el desafío de las dinámicas del sistema estocástico desconocidas y la presencia de ruido multiplicativo, se emplea un algoritmo de aprendizaje Q de refuerzo sin modelo para resolver el problema de control. Finalmente, la efectividad del algoritmo propuesto se valida a través de ejemplos de simulación exhaustivos.