Mamba-UAV-SegNet: Una Red de Fusión de Características Adaptativa a Múltiples Escalas para la Segmentación Semántica en Tiempo Real de Imágenes Aéreas de UAV
Autores: Huang, Longyang; Tan, Jintao; Chen, Zhonghui
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mamba-UAV-SegNet: Una Red de Fusión de Características Adaptativa a Múltiples Escalas para la Segmentación Semántica en Tiempo Real de Imágenes Aéreas de UAV
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Segmentación semántica
Imágenes de UAV
Mamba-UAV-SegNet
Detalles de contorno
Inferencia en tiempo real
Segmentación de tierras agrícolas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La segmentación semántica precisa de imágenes de alta resolución capturadas por vehículos aéreos no tripulados (VANT) es crucial para aplicaciones en monitoreo ambiental, planificación urbana y agricultura de precisión. Sin embargo, desafíos como el desequilibrio de clases, la detección de objetos pequeños y los detalles complejos de los bordes complican el análisis de las imágenes de VANT. Para abordar estos problemas, proponemos Mamba-UAV-SegNet, una nueva red de segmentación semántica en tiempo real diseñada específicamente para imágenes de VANT. La red integra un Bloque Mamba de Cabeza Múltiple (MH-Mamba Block) para una mejor representación de características a múltiples escalas, un Módulo de Fusión de Mejora de Bordes Adaptativa (ABEFM) para una fusión de características consciente de los bordes mejorada, y una rama de entrenamiento auxiliar de detalles de borde para capturar detalles finos. La utilidad práctica de nuestro método se demuestra a través de su aplicación a la segmentación de tierras agrícolas. Experimentos extensivos en los conjuntos de datos UAV-City, VDD y UAVid muestran que nuestro modelo supera a los métodos de vanguardia, logrando puntuaciones medias de Intersección sobre Unión (mIoU) de 71.2%, 77.5% y 69.3%, respectivamente. Estudios de ablación confirman la efectividad de cada componente y sus contribuciones combinadas al rendimiento general. El método propuesto equilibra la precisión de la segmentación y la eficiencia computacional, manteniendo velocidades de inferencia en tiempo real adecuadas para aplicaciones prácticas de VANT.
Descripción
La segmentación semántica precisa de imágenes de alta resolución capturadas por vehículos aéreos no tripulados (VANT) es crucial para aplicaciones en monitoreo ambiental, planificación urbana y agricultura de precisión. Sin embargo, desafíos como el desequilibrio de clases, la detección de objetos pequeños y los detalles complejos de los bordes complican el análisis de las imágenes de VANT. Para abordar estos problemas, proponemos Mamba-UAV-SegNet, una nueva red de segmentación semántica en tiempo real diseñada específicamente para imágenes de VANT. La red integra un Bloque Mamba de Cabeza Múltiple (MH-Mamba Block) para una mejor representación de características a múltiples escalas, un Módulo de Fusión de Mejora de Bordes Adaptativa (ABEFM) para una fusión de características consciente de los bordes mejorada, y una rama de entrenamiento auxiliar de detalles de borde para capturar detalles finos. La utilidad práctica de nuestro método se demuestra a través de su aplicación a la segmentación de tierras agrícolas. Experimentos extensivos en los conjuntos de datos UAV-City, VDD y UAVid muestran que nuestro modelo supera a los métodos de vanguardia, logrando puntuaciones medias de Intersección sobre Unión (mIoU) de 71.2%, 77.5% y 69.3%, respectivamente. Estudios de ablación confirman la efectividad de cada componente y sus contribuciones combinadas al rendimiento general. El método propuesto equilibra la precisión de la segmentación y la eficiencia computacional, manteniendo velocidades de inferencia en tiempo real adecuadas para aplicaciones prácticas de VANT.