El Aprendizaje por Refuerzo (RL) está ganando mucha atención en la investigación porque permite que el sistema aprenda al interactuar con el entorno. Sin embargo, a pesar de todas estas aplicaciones exitosas, la aplicación de RL en el control directo de torque de junta sin la ayuda de un modelo dinámico subyacente no se ha reportado en la literatura. Este estudio presenta una estructura de red dividida que permite el entrenamiento exitoso de RL para aprender el control directo de torque para seguir trayectorias de un robot articulado de seis ejes sin conocimiento previo del modelo dinámico del robot. El entrenamiento tomó mucho tiempo en converger. Sin embargo, pudimos demostrar el control exitoso de cuatro trayectorias diferentes sin necesidad de un modelo dinámico preciso y cálculos complejos de cinemática inversa. Para mostrar la efectividad del control basado en RL, también comparamos el control RL con el Control Predictivo de Modelo (MPC), otro método popular de control de trayectorias. Nuestros resultados muestran que, aunque el MPC logra un control más suave y preciso, no trata automáticamente la singularidad. Además, requiere cálculos complejos de dinámica inversa. Por otro lado, el controlador RL evitó instintivamente la acción violenta alrededor de las singularidades.