El monitoreo preciso de la fenología del arroz es crítico para la gestión de cultivos, la mejora de variedades y la estimación de rendimientos. Anteriormente, la investigación para la detección de fenología se basaba en datos de series temporales y ortomosaicos y regiones trazadas manualmente, lo que es difícil de automatizar. Este estudio presentó un enfoque novedoso para extraer y mapear rasgos fenológicos directamente de la secuencia de fotografías de vehículos aéreos no tripulados (UAV). Primero, se construyó un conjunto de datos de segmentación de campos de arroz de múltiples etapas que contiene cuatro etapas de crecimiento y 2600 imágenes, denominado PaddySeg. Además, se propuso una eficiente Red Bilateral Fantasma (GBiNet) para generar máscaras de rasgos. Para localizar el rasgo de cada píxel, introdujimos técnicas de geo-localización directa (DGL) y muestreo escaso incremental (ISS) para eliminar cálculos redundantes. Según los resultados en PaddySeg, la GBiNet propuesta con un 91.50% de media de Intersección sobre Unión (mIoU) y una velocidad de 41 fotogramas por segundo (FPS) superó al modelo base (90.95%, 36 FPS), mientras que la GBiNet_t más rápida alcanzó 62 FPS, lo que fue 1.7 veces más rápida que el modelo base, BiSeNetV2. Además, la desviación promedio medida de DGL fue inferior al 1% de la altura relativa. Finalmente, el mapeo de la fenología del arroz se logró mediante interpolación en pares de valor de rasgo y ubicación. El enfoque propuesto demostró un gran potencial para la encuesta y el mapeo automáticos de las etapas fenológicas del arroz.