Los drones inteligentes o robots voladores juegan un papel significativo en el servicio a nuestra sociedad en aplicaciones como rescate, inspección, agricultura, etc. Comprender la escena del entorno es una capacidad esencial para tareas autónomas futuras. Intuitivamente, conocer la auto-localización del UAV y crear un mapa semántico 3D es significativo para tareas completamente autónomas. Sin embargo, integrar la localización simultánea, la reconstrucción 3D y la segmentación semántica juntos es un gran desafío para sistemas con limitaciones de energía como los UAV. Para abordar esto, proponemos un sistema de mapeo semántico en tiempo real que puede ayudar a un sistema UAV con limitaciones de energía a comprender su ubicación y entorno. El enfoque propuesto incluye un SLAM visual modificado con el método directo para acelerar el proceso de coincidencia de características, que es intensivo en computación, y un módulo de segmentación semántica en tiempo real en el backend. El módulo semántico ejecuta una red ligera, BiSeNetV2, y realiza la segmentación solo en los fotogramas clave de la tarea SLAM del frontend. Considerando la navegación rápida y los recursos de memoria a bordo, proporcionamos un módulo de construcción de mapas densos en tiempo real para generar un OctoMap con el mapa semántico segmentado. El sistema propuesto se verifica en experimentos en tiempo real en una plataforma UAV con un Jetson TX2 como unidad de computación. Una tasa de fotogramas de alrededor de 12 Hz, con una precisión de segmentación semántica de alrededor del 89%, demuestra que nuestro sistema propuesto es computacionalmente eficiente mientras proporciona información suficiente para tareas completamente autónomas como rescate, inspección, etc.