Este artículo investiga el problema óptimo de control de seguimiento para sistemas lineales estocásticos discretos basados en datos. Se propone un algoritmo de aprendizaje Q promedio fuera de política para resolver el problema de control óptimo con perturbaciones aleatorias. En comparación con el algoritmo existente de aprendizaje por refuerzo (RL) fuera de política, el algoritmo propuesto de aprendizaje Q promedio fuera de política evita la suposición de un control de estabilidad inicial. Primero, se utiliza una estrategia de ubicación de polos para diseñar un control estable inicial para sistemas con dinámicas desconocidas. En segundo lugar, el control estable inicial se utiliza para diseñar un algoritmo de aprendizaje Q promedio fuera de política basado en datos. Luego, este algoritmo se utiliza para resolver el problema de seguimiento cuadrático lineal estocástico (LQT), y se proporciona una prueba de convergencia del algoritmo. Finalmente, ejemplos numéricos muestran que este algoritmo supera a otros algoritmos en una simulación.