Los UAVs son cada vez más prominentes en la competencia por el espacio debido a sus múltiples características, como una fuerte maniobrabilidad, larga distancia de vuelo y alta supervivencia. Se propone un nuevo método de control de vuelo seguro en línea basado en el aprendizaje por refuerzo restringido para el control de seguridad inteligente de los UAVs. Este método adopta la optimización de políticas restringidas como el marco principal de aprendizaje por refuerzo y desarrolla un algoritmo de optimización de políticas restringidas con un presupuesto de seguridad adicional, que introduce requisitos de estabilidad de Lyapunov y limita la pérdida de deflexión del timón para garantizar la seguridad del vuelo y mejorar la robustez del controlador. Al interactuar de manera eficiente con el entorno de simulación construido, se entrena un modelo de ley de control para UAVs. Posteriormente, se utiliza un método de aprendizaje en línea de meta-aprendizaje activado por condiciones para ajustar la ley de control en línea, asegurando un seguimiento exitoso del ángulo de actitud. Los resultados de los experimentos de simulación muestran que el uso de leyes de control en línea para realizar tareas de control del ángulo de actitud de la aeronave tiene una puntuación general de 100 puntos. Después de introducir el aprendizaje en línea, la adaptabilidad del control de actitud a errores comprensivos como parámetros aerodinámicos y viento mejoró en un 21% en comparación con el aprendizaje fuera de línea. La ley de control se puede aprender en línea para ajustar la política de control de los UAVs, asegurando su seguridad y estabilidad durante el vuelo.