AMFEF-DETR: Una red de detección de objetos de extracción y fusión de características multi-escala adaptativa de extremo a extremo basada en imágenes aéreas de UAV
Autores: Wang, Sen; Jiang, Huiping; Yang, Jixiang; Ma, Xuan; Chen, Jiamin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
AMFEF-DETR: Una red de detección de objetos de extracción y fusión de características multi-escala adaptativa de extremo a extremo basada en imágenes aéreas de UAV
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Precisión de detección
Velocidad de detección
Extracción de características adaptativa
Fusión de características
Características del objetivo
Red de columna vertebral adaptativa
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Para abordar el desafío de la baja precisión de detección y la lenta velocidad de detección en las tareas de detección de objetivos en imágenes aéreas de vehículos aéreos no tripulados (UAV), causadas por factores como entornos terrestres complejos, altitudes y ángulos de vuelo variables de los UAV, y cambios en las condiciones de iluminación, este estudio propone una red de detección de extracción y fusión de características multi-escala adaptativa de extremo a extremo, llamada AMFEF-DETR. Específicamente, para extraer características de los objetivos de fondos complejos de manera más precisa, proponemos una red de respaldo adaptativa, FADC-ResNet, que ajusta dinámicamente las tasas de dilatación y realiza una conciencia de frecuencia adaptativa. Esto permite que los núcleos de convolución se adapten efectivamente a las escalas variables de los objetivos terrestres, capturando más detalles mientras se expande el campo receptivo. También proponemos un módulo de interacción de características intra-escala basado en atención HiLo (HLIFI) para manejar características de alto nivel del respaldo. Este módulo utiliza codificación de doble vía de altas y bajas frecuencias para mejorar el enfoque en los detalles de objetivos pequeños y densos, mientras reduce la interferencia del ruido. Además, se propone la red de pirámide de características adaptativa bidireccional (BAFPN) para la fusión de características a través de escalas, integrando información semántica y mejorando la adaptabilidad. Se introduce la función de pérdida Inner-Shape-IoU, diseñada para centrarse en las formas de las cajas delimitadoras e incorporar cajas auxiliares, para acelerar la convergencia y mejorar la precisión de regresión. Al evaluarse en el conjunto de datos VisDrone, el AMFEF-DETR demostró mejoras del 4.02% y 16.71% en mAP50 y FPS, respectivamente, en comparación con el RT-DETR. Además, el modelo AMFEF-DETR mostró una fuerte robustez, logrando valores de mAP50 un 2.68% y un 3.75% más altos que el RT-DETR y YOLOv10, respectivamente, en el conjunto de datos HIT-UAV.
Descripción
Para abordar el desafío de la baja precisión de detección y la lenta velocidad de detección en las tareas de detección de objetivos en imágenes aéreas de vehículos aéreos no tripulados (UAV), causadas por factores como entornos terrestres complejos, altitudes y ángulos de vuelo variables de los UAV, y cambios en las condiciones de iluminación, este estudio propone una red de detección de extracción y fusión de características multi-escala adaptativa de extremo a extremo, llamada AMFEF-DETR. Específicamente, para extraer características de los objetivos de fondos complejos de manera más precisa, proponemos una red de respaldo adaptativa, FADC-ResNet, que ajusta dinámicamente las tasas de dilatación y realiza una conciencia de frecuencia adaptativa. Esto permite que los núcleos de convolución se adapten efectivamente a las escalas variables de los objetivos terrestres, capturando más detalles mientras se expande el campo receptivo. También proponemos un módulo de interacción de características intra-escala basado en atención HiLo (HLIFI) para manejar características de alto nivel del respaldo. Este módulo utiliza codificación de doble vía de altas y bajas frecuencias para mejorar el enfoque en los detalles de objetivos pequeños y densos, mientras reduce la interferencia del ruido. Además, se propone la red de pirámide de características adaptativa bidireccional (BAFPN) para la fusión de características a través de escalas, integrando información semántica y mejorando la adaptabilidad. Se introduce la función de pérdida Inner-Shape-IoU, diseñada para centrarse en las formas de las cajas delimitadoras e incorporar cajas auxiliares, para acelerar la convergencia y mejorar la precisión de regresión. Al evaluarse en el conjunto de datos VisDrone, el AMFEF-DETR demostró mejoras del 4.02% y 16.71% en mAP50 y FPS, respectivamente, en comparación con el RT-DETR. Además, el modelo AMFEF-DETR mostró una fuerte robustez, logrando valores de mAP50 un 2.68% y un 3.75% más altos que el RT-DETR y YOLOv10, respectivamente, en el conjunto de datos HIT-UAV.