Los manipuladores redundantes de grados de libertad (DOF) ofrecen mayor flexibilidad y son más adecuados para la evitación de obstáculos, sin embargo, el control preciso de estos sistemas sigue siendo un desafío significativo. Este documento aborda los problemas de la lenta convergencia del entrenamiento y la estabilidad subóptima que afectan las estrategias de control actuales basadas en el aprendizaje por refuerzo profundo (DRL) para manipuladores redundantes de DOF. Proponemos una nueva estrategia de control inteligente basada en DRL, FK-DRL, que integra el modelo de cinemática directa (FK) del manipulador en el marco de control. Inicialmente, conceptualizamos la tarea de control como un proceso de decisión de Markov (MDP) y construimos el modelo FK para el manipulador. Posteriormente, explicamos los principios de integración y los procedimientos de entrenamiento para amalgamar el modelo FK con los algoritmos DRL existentes. Nuestro análisis experimental, aplicado a manipuladores de 7-DOF y 4-DOF en entornos simulados y del mundo real, evalúa el rendimiento de la estrategia FK-DRL. Los resultados indican que, en comparación con los algoritmos DRL clásicos, los algoritmos FK-DDPG, FK-TD3 y FK-SAC mejoraron las tasas de éxito de las tareas de control inteligente para el manipulador de 7-DOF en un 21%, 87% y 64%, respectivamente, y las velocidades de convergencia del entrenamiento aumentaron en un 21%, 18% y 68%, respectivamente. Estos resultados validan la efectividad y las ventajas del algoritmo propuesto en el control de manipuladores redundantes utilizando DRL y modelos FK.