El control de locomoción de robots cuadrúpedos no tripulados ha sido uno de los mayores desafíos en robótica. El aprendizaje por refuerzo profundo ha logrado grandes avances en el control de robots. Sin embargo, extraer características efectivas de la información histórica para mejorar la agilidad de locomoción sigue siendo un problema abierto y desafiante. En este artículo, se propone un método de crítico suave de series temporales heterogéneas (HTS-SAC) para permitir un mejor aprendizaje de políticas a partir de datos históricos. En primer lugar, se desarrollan cuatro condiciones de decisión de información mutua para la selección de características, que pueden analizar la correlación entre los estados de entrada y el rendimiento del movimiento, obteniendo la importancia de las características temporales de diferentes longitudes. Luego, de acuerdo con los resultados de la optimización de características, se diseñan una nueva red neuronal de series temporales heterogéneas y el método de control de locomoción HTS-SAC. Finalmente, se valida la efectividad del método propuesto en diferentes terrenos utilizando un modelo de simulación de robot cuadrúpedo Laikago.