El trabajo sobre la optimización de trayectorias está evolucionando rápidamente debido a la introducción de algoritmos basados en inteligencia artificial (IA). Se espera que los UAV pequeños ejecuten maniobras versátiles en entornos desconocidos. Estudios previos sobre estos UAV se han centrado en el diseño de controladores convencionales, modelado y rendimiento, lo que ha planteado varios desafíos. Sin embargo, un área menos explorada es el uso de algoritmos de aprendizaje por refuerzo para realizar maniobras ágiles como la transición de un vuelo en suspensión a un vuelo de crucero. Este artículo presenta un marco unificado para el desarrollo y la optimización de un UAV tricóptero de rotor inclinado capaz de realizar despegues y aterrizajes verticales (VTOL) y transiciones eficientes de vuelo en suspensión a vuelo de crucero. El UAV está equipado con un sistema de control basado en aprendizaje por refuerzo, utilizando específicamente algoritmos como Deep Deterministic Policy Gradient (DDPG), Trust Region Policy Optimization (TRPO) y Proximal Policy Optimization (PPO). A través de simulaciones extensas, el estudio identifica a PPO como el algoritmo más robusto, logrando un rendimiento superior en términos de estabilidad y convergencia en comparación con DDPG y TRPO. Los hallazgos demuestran la eficacia del DRL para aprovechar la dinámica única de los UAV de rotor inclinado y muestran una mejora significativa en la precisión de maniobra y la adaptabilidad del control. Este estudio demuestra el potencial de los algoritmos de aprendizaje por refuerzo para avanzar en las operaciones autónomas de UAV al cerrar la brecha entre el modelado dinámico y las estrategias de control inteligente, subrayando los beneficios prácticos del DRL en la robótica aérea.