El enrutamiento en redes ad hoc voladoras (FANETs) se ve obstaculizado por la alta movilidad, la dinámica de topología inducida por la trayectoria y las limitaciones de energía. Los protocolos convencionales basados en topología o en posición a menudo fallan debido a la información de enlace obsoleta y la limitada conciencia de los vecinos. Este artículo propone un protocolo de enrutamiento informado por la trayectoria mejorado por Q-learning: Traj-Q-GPSR, adaptado para redes de enjambre de UAV orientadas a misiones. Al aprovechar las trayectorias de vuelo planificadas para la misión, el protocolo construye tablas de vecinos de dos saltos conscientes del tiempo, lo que permite decisiones de enrutamiento basadas tanto en la conectividad actual como en la disponibilidad de enlace predicha. Esta información espaciotemporal se integra en un marco de aprendizaje por refuerzo que optimiza dinámicamente la selección del siguiente salto en función de la estabilidad del enlace, la longitud de la cola y los patrones de movilidad de los nodos. Para mejorar aún más la adaptabilidad, los parámetros de aprendizaje se ajustan en tiempo real de acuerdo con la dinámica de la red. Además, se introduce un modelo de colas consciente del retraso para prever el momento óptimo de transmisión, reduciendo así la sobrecarga de almacenamiento en búfer y mitigando retransmisiones redundantes. Amplias simulaciones en ns-3 a través de diversas movilidades, densidades y conexiones CBR demuestran que el protocolo propuesto supera consistentemente a GPSR, logrando hasta un 23% menos de pérdida de paquetes, más del 80% de reducción en el retraso promedio de extremo a extremo y mejoras de hasta un 37% y 52% en rendimiento y eficiencia de enrutamiento, respectivamente.