Los complejos cambios aerodinámicos del UAV de rotor inclinado (TRUAV) en el proceso de transición muestran una fuerte no linealidad, lo que tiene un gran impacto en la estabilidad de la actitud del vehículo. Este estudio tiene como objetivo diseñar un controlador de RL basado en PPO para el control de actitud en el proceso de transición. Se utiliza un enfoque de PPO de aprendizaje por refuerzo para aprender la estrategia de control interactuando directamente con el entorno. Y se diseña y mejora la función de recompensa para el proceso de transición. El rendimiento del controlador propuesto se prueba y compara mediante simulación. Los resultados muestran que el algoritmo PPO es más adecuado para el control del proceso de transición del rotor inclinado que el algoritmo A2C. Nuestra función de recompensa propuesta mejora el rendimiento del control de actitud y el controlador de RL diseñado tiene buena adaptabilidad a los cambios en el peso de despegue, la distancia entre ejes diagonal y la tasa de inclinación. Este estudio destaca la efectividad y el potencial del aprendizaje por refuerzo para el control de actitud en el proceso de transición del UAV de rotor inclinado. Estos hallazgos contribuyen al avance de los sistemas de vuelo autónomo al proporcionar información sobre la aplicación de algoritmos de aprendizaje por refuerzo. Estos resultados tienen importantes implicaciones para el desarrollo de sistemas de control de vuelo inteligentes y podrían guiar futuras investigaciones en esta área.