El algoritmo tradicional de Deep Deterministic Policy Gradient (DDPG) frecuentemente muestra una notable reducción en la tasa de éxito al ser transferido a nuevos entornos después de ser entrenado en configuraciones de simulación complejas. Para abordar estos problemas, este documento adopta un enfoque de entrenamiento paralelo Multi-Environment (Multi-Env) e integra Multi-Head Attention (MHA) y Prioritized Experience Replay (PER) en el marco de DDPG, optimizando la función de recompensa para formar el algoritmo MAP-DDPG. Este enfoque mejora la capacidad de generalización y eficiencia de ejecución del algoritmo. A través de la capacitación y prueba comparativa de los algoritmos DDPG y MAP-DDPG en entornos de simulación y del mundo real, los resultados experimentales demuestran que MAP-DDPG mejora significativamente la generalización y eficiencia de ejecución sobre el algoritmo DDPG. Específicamente, en pruebas de entorno de simulación, el algoritmo MAP-DDPG logró un aumento promedio del 30% en la tasa de éxito y redujo el tiempo promedio para llegar al punto objetivo en 23,7 s en comparación con el algoritmo DDPG. Estos resultados indican que el algoritmo MAP-DDPG mejora significativamente la generalización de la planificación de rutas y la eficiencia de ejecución, proporcionando una solución más efectiva para la planificación de rutas en entornos complejos.