Los avances recientes en el reconocimiento de gestos de la mano han producido métodos más naturales e intuitivos para controlar vehículos aéreos no tripulados (VANT). Sin embargo, en entornos desconocidos y desordenados, la planificación del movimiento de los VANT requiere la asistencia de la interacción mediante gestos de la mano en tareas de vuelo complejas, lo que sigue siendo un desafío significativo. En este artículo, se propone un nuevo marco basado en la interacción mediante gestos de la mano, para apoyar un vuelo de VANT eficiente y robusto. Se diseñó una estructura en cascada, que incluye Gaussian Native Bayes (GNB) y Random Forest (RF), para clasificar los gestos de la mano basándose en las unidades de medida inercial (IMUs) de seis grados de libertad (6DoF) del guante de datos. Los gestos de la mano se asignaron a los comandos de vuelo del VANT, que correspondían a la dirección del vuelo del VANT. Los resultados experimentales, que probaron los 10 gestos de la mano evaluados, revelaron la alta precisión del reconocimiento de gestos de la mano en línea bajo detección asíncrona (92%), y una latencia relativamente baja para la interacción (tiempo promedio de reconocimiento de 7.5 ms; tiempo total promedio de 3 s). El tiempo promedio de la tarea de vuelo compleja del VANT fue aproximadamente 8 s más corto que el de la detección y reconocimiento de gestos de la mano sincrónicos. El marco propuesto fue validado como eficiente y robusto, con amplias comparaciones de referencia en varios entornos complejos del mundo real.