Desarrollamos una nueva estrategia de control de sistemas de servomotor de velocidad basada en aprendizaje profundo por refuerzo. Los parámetros de control de los sistemas de servomotor de velocidad son difíciles de regular para aplicaciones prácticas, y surgen problemas de perturbación momentánea y mutación de inercia durante el proceso de operación. Se diseña una clase de agentes de aprendizaje por refuerzo para sistemas de servomotor de velocidad basados en el algoritmo de gradiente de política determinista profunda. Los agentes son entrenados con una cantidad significativa de datos del sistema. Después de completar el aprendizaje, pueden ajustar automáticamente los parámetros de control de los sistemas de servomotor y compensar en línea. En consecuencia, un sistema de servomotor siempre puede mantener un buen rendimiento de control. Se realizan numerosos experimentos para verificar la estrategia de control propuesta. Los resultados muestran que el método propuesto puede lograr una sintonización automática proporcional-integral-derivativa y superar efectivamente los efectos de la mutación de inercia y la perturbación de torque.