El reconocimiento fiable de las señales de comunicación de vehículos aéreos no tripulados (VANT) es esencial para la seguridad del espacio aéreo a baja altitud y el monitoreo de VANT. En entornos electromagnéticos prácticos, las señales de VANT exhiben características temporales y de frecuencia complejas, y frecuentemente aparecen tipos de señales desconocidas, lo que hace necesario el reconocimiento de conjunto abierto. Este artículo propone un método de reconocimiento de conjunto abierto basado en geometría y energía (GE-OSR) para la identificación de señales de VANT. Primero, se desarrolla una red híbrida convolucional en el tiempo y la frecuencia para aprender representaciones multiescala a partir de señales de VANT en bruto. Luego, se introducen incrustaciones de clase aprendibles con una pérdida de incrustación de doble restricción para mejorar la compacidad y separabilidad de las características. Además, se introduce una pérdida de alineación de energía libre para asignar baja energía a señales conocidas y alta energía a señales desconocidas, formando un límite de rechazo adaptativo. Los experimentos bajo diferentes relaciones señal-ruido (SNR) y niveles de apertura muestran que GE-OSR proporciona un rendimiento estable. A 0 dB SNR bajo alta apertura, el método mejora el OSCR en aproximadamente un 2.95% sobre el reciente modelo S3R y más del 6% sobre otras líneas base. Estos resultados muestran que GE-OSR es efectivo para la identificación práctica de señales de VANT y la detección de señales desconocidas en entornos complejos a baja altitud.