Recientemente, el vuelo autónomo ha surgido como una tecnología clave en los sectores aeroespacial y de defensa; sin embargo, los sistemas de vuelo autónomo basados en código tradicionales enfrentan limitaciones en entornos complejos. Aunque el aprendizaje por refuerzo ofrece una alternativa, su aplicación práctica en entornos del mundo real se ve obstaculizada por los sustanciales requisitos de datos. En este estudio, desarrollamos un marco que integra una Red Generativa Antagónica (GAN) y Repetición de Experiencia en Perspectiva (HER) en el aprendizaje por refuerzo basado en modelos para mejorar la eficiencia y precisión de los datos. Comparamos el marco propuesto con algoritmos existentes en el control de cuadricópteros reales. En el experimento comparativo, demostramos una mejora de hasta el 70.59% en la velocidad de aprendizaje, destacando claramente el impacto del modelo ambiental. Hasta donde sabemos, este estudio es el primero en el que se combinan una GAN y HER con el aprendizaje por refuerzo basado en modelos, y se espera que contribuya significativamente a la aplicación práctica del aprendizaje por refuerzo en el vuelo autónomo.