Con los avances en la tecnología de Vehículos Aéreos No Tripulados (UAVs), las imágenes aéreas con enormes variaciones en la apariencia de objetos y fondos complejos han abierto una nueva dirección de trabajo para los investigadores. La tarea de segmentación semántica se vuelve más desafiante al capturar características inherentes en el contexto global y local de las imágenes de UAV. En este documento, propusimos una arquitectura codificador-decodificador basada en transformadores para abordar este problema en la segmentación precisa de imágenes de UAV. La representación de características inherentes de las imágenes de UAV se explota en la red codificadora utilizando un marco de transformador basado en autoatención para capturar información contextual global a larga distancia. Se propone un módulo de Fusión de Información Espacial de Token (TSIF) para aprovechar un mecanismo de convolución que puede capturar detalles locales. Fusiona los detalles contextuales locales sobre los píxeles vecinos con la red codificadora y genera representaciones de características semánticamente ricas. Propusimos una red decodificadora que procesa la salida de la red codificadora para la predicción final a nivel semántico de cada píxel. Demostramos la efectividad de esta arquitectura en los conjuntos de datos UAVid y Urban Drone, donde logramos un mIoU del 61,93% y 73,65%, respectivamente.