Los enfoques clásicos de programación dinámica aproximada basados en gradientes proporcionan plataformas de solución confiables y rápidas para varios problemas de control óptimo. Sin embargo, su dependencia de enfoques de modelado precisos plantea una preocupación importante, ya que la eficiencia de las soluciones propuestas se degrada severamente en el caso de entornos dinámicos inciertos. En este contexto, se introduce un nuevo marco de aprendizaje adaptativo en línea para resolver problemas de programación dinámica heurística dual dependientes de la acción. El enfoque no depende de los modelos dinámicos de los sistemas considerados. En su lugar, emplea principios de optimización para producir estrategias de control sin modelo. Se utiliza un proceso de iteración de políticas para resolver la ecuación de Hamilton-Jacobi-Bellman subyacente mediante medios de críticos adaptativos, donde se emplea una capa de redes neuronales actor-crítico separadas junto con reglas de adaptación de descenso de gradiente. Se introduce un desarrollo de Riccati que se muestra equivalente a resolver la ecuación de Hamilton-Jacobi-Bellman subyacente. El enfoque propuesto se aplica al desafiante problema de control de desplazamiento de peso de un avión de ala flexible. La deformación no lineal continua en el ala flexible del avión conduce a diversas variaciones aerodinámicas a diferentes velocidades de recorte, lo que complica la tarea de control del piloto automático. Se llevaron a cabo series de simulaciones numéricas para demostrar la efectividad de la estrategia sugerida.