Los controladores de vuelo no lineales para vehículos aéreos no tripulados (UAV) pueden desarrollarse potencialmente utilizando aprendizaje por refuerzo profundo. Sin embargo, a menudo existe una brecha de realidad entre los modelos de simulación utilizados para entrenar estos controladores y el mundo real. Este estudio investigó experimentalmente la aplicación del aprendizaje por refuerzo profundo al control de inclinación de un UAV en pruebas en túnel de viento, con un enfoque particular en investigar el efecto de los retrasos temporales en el rendimiento del controlador de vuelo. Se entrenaron múltiples redes neuronales en simulación con diferentes retrasos temporales asumidos y luego se probaron en túnel de viento. Las redes neuronales entrenadas con retrasos más cortos tendieron a ser susceptibles a los retrasos en las pruebas reales y produjeron un comportamiento fluctuante. Las redes neuronales entrenadas con retrasos más largos se comportaron de manera más conservadora y no produjeron oscilaciones, pero sufrieron errores en estado estacionario bajo algunas condiciones debido a efectos de fricción no modelados. Estos resultados destacan la importancia de realizar experimentos físicos para validar el rendimiento del controlador y cómo el enfoque de entrenamiento utilizado con el aprendizaje por refuerzo necesita ser robusto ante las brechas de realidad entre la simulación y el mundo real.