Mejora Contextual - Interacción y Red de Fusión Ponderada Multiescala para Seguimiento Aéreo
Autores: Wang, Bo; Wang, Xuan; Ma, Linglong; Zuo, Yujia; Liu, Chenglong
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mejora Contextual - Interacción y Red de Fusión Ponderada Multiescala para Seguimiento Aéreo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Seguimiento siamés
Seguimiento visual de UAV
Desafíos
Respuestas de similitud a múltiples niveles
Mejora contextual-interacción
Fusión ponderada a múltiples escalas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los rastreadores basados en Siamés se han utilizado ampliamente en el seguimiento visual de UAV debido a su rendimiento excepcional. Sin embargo, el seguimiento visual de UAV enfrenta numerosos desafíos, como objetivos similares, variaciones de escala y desorden de fondo. Los rastreadores Siamés existentes enfrentan dos problemas significativos: en primer lugar, dependen de características de rama única, lo que limita su capacidad para lograr un seguimiento aéreo a largo plazo y preciso. En segundo lugar, los algoritmos de seguimiento actuales tratan las respuestas de similitud de múltiples niveles por igual, lo que dificulta garantizar la precisión del seguimiento en entornos aéreos complejos. Para abordar estos desafíos, proponemos una nueva red Siamés de seguimiento de UAV llamada red de fusión ponderada de interacción y mejora contextual a múltiples escalas, que está diseñada para mejorar el rendimiento del seguimiento aéreo. En primer lugar, diseñamos un módulo de interacción de mejora contextual para mejorar la representación de características. Este módulo facilita eficazmente la interacción entre las ramas de plantilla y búsqueda y refuerza las características de cada rama en paralelo. Específicamente, un mecanismo de atención cruzada dentro del módulo integra la información de las ramas de manera efectiva. La estructura de mejora basada en Transformer en paralelo mejora significativamente la saliencia de las características. Además, diseñamos un módulo de fusión ponderada de múltiples escalas eficiente que pondera adaptativamente los mapas de respuesta de correlación a través de diferentes escalas de características. Este módulo utiliza plenamente la respuesta de similitud global entre la plantilla y el área de búsqueda, mejorando la distintividad de las características y mejorando los resultados del seguimiento. Realizamos experimentos utilizando varios rastreadores de última generación en bancos de pruebas de seguimiento aéreo, incluidos DTB70, UAV123, UAV20L y UAV123@10fps, para validar la eficacia de la red propuesta. Los resultados experimentales demuestran que nuestro rastreador funciona eficazmente en escenarios complejos de seguimiento aéreo y compite bien con rastreadores de última generación.
Descripción
Los rastreadores basados en Siamés se han utilizado ampliamente en el seguimiento visual de UAV debido a su rendimiento excepcional. Sin embargo, el seguimiento visual de UAV enfrenta numerosos desafíos, como objetivos similares, variaciones de escala y desorden de fondo. Los rastreadores Siamés existentes enfrentan dos problemas significativos: en primer lugar, dependen de características de rama única, lo que limita su capacidad para lograr un seguimiento aéreo a largo plazo y preciso. En segundo lugar, los algoritmos de seguimiento actuales tratan las respuestas de similitud de múltiples niveles por igual, lo que dificulta garantizar la precisión del seguimiento en entornos aéreos complejos. Para abordar estos desafíos, proponemos una nueva red Siamés de seguimiento de UAV llamada red de fusión ponderada de interacción y mejora contextual a múltiples escalas, que está diseñada para mejorar el rendimiento del seguimiento aéreo. En primer lugar, diseñamos un módulo de interacción de mejora contextual para mejorar la representación de características. Este módulo facilita eficazmente la interacción entre las ramas de plantilla y búsqueda y refuerza las características de cada rama en paralelo. Específicamente, un mecanismo de atención cruzada dentro del módulo integra la información de las ramas de manera efectiva. La estructura de mejora basada en Transformer en paralelo mejora significativamente la saliencia de las características. Además, diseñamos un módulo de fusión ponderada de múltiples escalas eficiente que pondera adaptativamente los mapas de respuesta de correlación a través de diferentes escalas de características. Este módulo utiliza plenamente la respuesta de similitud global entre la plantilla y el área de búsqueda, mejorando la distintividad de las características y mejorando los resultados del seguimiento. Realizamos experimentos utilizando varios rastreadores de última generación en bancos de pruebas de seguimiento aéreo, incluidos DTB70, UAV123, UAV20L y UAV123@10fps, para validar la eficacia de la red propuesta. Los resultados experimentales demuestran que nuestro rastreador funciona eficazmente en escenarios complejos de seguimiento aéreo y compite bien con rastreadores de última generación.