Se propone y valida un algoritmo de control de seguimiento de referencia de modelo en tiempo real asíncrono fuera de política (OOART-MRTC) para vehículos aéreos no tripulados (UAV) caracterizados por una actuación defectuosa y una incertidumbre paramétrica. El problema de control óptimo se plantea basado en programación dinámica aproximada (ADP) y teoría de aprendizaje por refuerzo (RL), utilizando una representación de espacio de estados virtual construida exclusivamente sobre datos verdaderos del sistema de entrada-salida, que explota la teoría de observabilidad. OOART-MRTC aprende el control interactuando con el sistema, comenzando desde un controlador estabilizador inicial derivado de un modelo incierto aproximado. Se analizan la convergencia del aprendizaje y la estabilidad bajo el comportamiento adaptativo propuesto. Dado que las iteraciones de aprendizaje no pueden actualizarse dentro de un período de muestreo, se propone un mecanismo asíncrono para actualizar los parámetros del controlador, aprovechando el control en tiempo real y la multitarea. La complejidad asociada con el sistema de alta dimensión resultante se resuelve mediante una parametrización lineal eficiente y se valida en un estudio de caso realista donde tres integradores dobles acoplados describen el control de actitud del UAV.