Los vehículos aéreos no tripulados alimentados por energía solar a gran escala poseen la capacidad de realizar misiones a largo plazo a diferentes altitudes, desde cerca del suelo hasta cerca del espacio, y la enorme extensión espacial impone estrictas disciplinas para su control de actitud, como la no linealidad aerodinámica y las perturbaciones ambientales. La eficiencia del diseño y el rendimiento del control están limitados por la programación de ganancias de métodos lineales, que son ampliamente utilizados en tales aeronaves en la actualidad. Hasta ahora, se ha demostrado que el aprendizaje profundo por refuerzo es un enfoque prometedor para entrenar controladores de actitud para pequeñas aeronaves no tripuladas. En este trabajo, se propone un método de control de actitud de bajo nivel basado en el aprendizaje profundo por refuerzo para vehículos aéreos no tripulados alimentados por energía solar, que es capaz de interactuar con sistemas no lineales de alta fidelidad para descubrir leyes de control óptimas y puede recibir y rastrear la entrada de actitud objetivo con un módulo de control de alto nivel arbitrario. Considerando los riesgos de los experimentos de vuelo en campo, se establece una plataforma de simulación hardware-in-the-loop que conecta el conjunto de aviónica a bordo con el controlador de red neuronal entrenado en un entorno digital. A través de misiones de vuelo a diferentes altitudes y perturbaciones de parámetros, los resultados muestran que el controlador sin reentrenamiento tiene un rendimiento comparable al del controlador PID tradicional, incluso a pesar de los retrasos físicos y el retroceso mecánico.