Segmentación semántica basada en transformadores de la caña japonesa en imágenes de UAV de alta resolución utilizando Twins-SVT
Autores: Valicharla, Sruthi Keerthi; Karimzadeh, Roghaiyeh; Li, Xin; Park, Yong-Lak
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Segmentación semántica basada en transformadores de la caña japonesa en imágenes de UAV de alta resolución utilizando Twins-SVT
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Bamboo japonés
Especies de plantas invasoras
Marco de segmentación semántica basado en transformadores
Imágenes RGB de alta resolución
Vehículos aéreos no tripulados
Transformador de Visión Espacialmente Separado de Gemelos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El knotweed japonés (Fallopia japonica) es una especie de planta invasora nociva que requiere métodos de monitoreo escalables y precisos. Las encuestas terrestres basadas en la observación actual son intensivas en recursos e ineficaces para detectar el knotweed japonés en los paisajes. Este estudio presenta un marco de segmentación semántica basado en transformadores para la detección automatizada de parches de knotweed japonés utilizando imágenes RGB de alta resolución adquiridas con vehículos aéreos no tripulados (UAV). Utilizamos el Twins Spatially Separable Vision Transformer (Twins-SVT), que utiliza una arquitectura jerárquica con atención propia espacialmente separable para modelar de manera efectiva las dependencias de largo alcance y las características contextuales multiescala. El modelo fue entrenado con 6945 imágenes aéreas anotadas recolectadas en tres sitios infestados con knotweed japonés en Virginia Occidental, EE. UU. Los resultados de este estudio mostraron que el marco propuesto logró un rendimiento superior en comparación con otras líneas base basadas en transformadores. El modelo Twins-SVT alcanzó una media de Intersección sobre Unión (mIoU) del 94.94% y una Precisión Promedio (AAcc) del 97.50%, superando a SegFormer, Swin-T y ViT. Estos hallazgos destacan la capacidad del modelo para distinguir con precisión los parches de knotweed japonés de la vegetación circundante. El método y el protocolo presentados en esta investigación proporcionan una solución robusta y escalable para mapear el knotweed japonés a través de imágenes aéreas y destacan el uso exitoso de transformadores de visión avanzados en el análisis de información ecológica y geoespacial.
Descripción
El knotweed japonés (Fallopia japonica) es una especie de planta invasora nociva que requiere métodos de monitoreo escalables y precisos. Las encuestas terrestres basadas en la observación actual son intensivas en recursos e ineficaces para detectar el knotweed japonés en los paisajes. Este estudio presenta un marco de segmentación semántica basado en transformadores para la detección automatizada de parches de knotweed japonés utilizando imágenes RGB de alta resolución adquiridas con vehículos aéreos no tripulados (UAV). Utilizamos el Twins Spatially Separable Vision Transformer (Twins-SVT), que utiliza una arquitectura jerárquica con atención propia espacialmente separable para modelar de manera efectiva las dependencias de largo alcance y las características contextuales multiescala. El modelo fue entrenado con 6945 imágenes aéreas anotadas recolectadas en tres sitios infestados con knotweed japonés en Virginia Occidental, EE. UU. Los resultados de este estudio mostraron que el marco propuesto logró un rendimiento superior en comparación con otras líneas base basadas en transformadores. El modelo Twins-SVT alcanzó una media de Intersección sobre Unión (mIoU) del 94.94% y una Precisión Promedio (AAcc) del 97.50%, superando a SegFormer, Swin-T y ViT. Estos hallazgos destacan la capacidad del modelo para distinguir con precisión los parches de knotweed japonés de la vegetación circundante. El método y el protocolo presentados en esta investigación proporcionan una solución robusta y escalable para mapear el knotweed japonés a través de imágenes aéreas y destacan el uso exitoso de transformadores de visión avanzados en el análisis de información ecológica y geoespacial.