Este artículo propone una estrategia de control casi óptima basada en el aprendizaje por refuerzo, que se aplica al control de actitud de aeronaves de doble control con seis grados de libertad (6-DoF). Con el fin de resolver el problema de que el aprendizaje por refuerzo existente es difícil de aplicar a sistemas de múltiples entradas y múltiples salidas (MIMO) de alta dimensión, se introduce la red neuronal de memoria a largo y corto plazo (LSTM) para reemplazar la red polinómica en la técnica de programación dinámica adaptativa (ADP). Mientras tanto, basado en el método de Lyapunov, se presenta una nueva ley de actualización adaptativa en línea de los pesos de la red neuronal LSTM, y se verifica la estabilidad del sistema. En el proceso de simulación, el algoritmo propuesto en este artículo se aplica al problema de control de actitud de seis grados de libertad de aeronaves de doble control con incertidumbre del sistema. Los resultados de la simulación muestran que el algoritmo puede lograr un control casi óptimo.