Los controladores PID tradicionales son ampliamente utilizados en aplicaciones industriales debido a su arquitectura computacional simple. Sin embargo, los parámetros de ganancia de esta arquitectura informática simple son fijos, y en respuesta a los cambios ambientales, los parámetros PID deben ajustarse continuamente hasta que el sistema esté optimizado. Esta investigación propone utilizar el algoritmo de aprendizaje profundo por refuerzo (DRL) más importante en el aprendizaje profundo como base y modular los parámetros de ganancia del controlador PID con control difuso. La investigación tiene la capacidad y ventajas del aprendizaje por refuerzo y el control difuso y construye un sistema de ruedas no tripuladas de seguimiento. La plataforma robótica móvil utiliza un sistema de normalización durante el cálculo para reducir los efectos de errores de lectura causados por el robot móvil de ruedas (WMR) de procesos del entorno y sensores. La arquitectura de controlador DRL-Fuzzy-PID propuesta en este documento utiliza la operación de grados para evitar el error de datos de entrada negativa en el juicio del valor absoluto, reduciendo así la cantidad de cálculos. Además de mejorar la precisión del control difuso, también utiliza el aprendizaje por refuerzo para responder rápidamente y minimizar el error en estado estacionario para lograr un rendimiento de cálculo preciso. Los resultados experimentales de este estudio muestran que en sitios de trayectoria complejos, la estabilidad de seguimiento del sistema utilizando DRL-fuzzy PID se mejora en un 15,2% en comparación con el control PID convencional, la sobrecompensación máxima se reduce en un 35,6% y la proporción de tiempo de seguimiento se acorta en un 6,78%. Si se agrega el aprendizaje por refuerzo, el tiempo de convergencia del sistema WMR será de aproximadamente 0,5 s, y la tasa de precisión alcanzará el 95%. Este estudio combina la computación del aprendizaje profundo por refuerzo para mejorar el rendimiento experimentalmente superior del sistema WMR. En el futuro, se pueden desarrollar vehículos no tripulados inteligentes con funciones de seguimiento automático, y la combinación de IoT y la computación en la nube puede mejorar la innovación de esta investigación.