Amtt: un método de seguimiento de transformadores multi-escala basado en anclas de extremo a extremo
Autores: Zheng, Yitao; Deng, Honggui; Xu, Qiguo; Li, Ni
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Amtt: un método de seguimiento de transformadores multi-escala basado en anclas de extremo a extremo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Rastreadores
Características
Rendimiento
Objetos
Transformador
Decodificador
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 61
Citaciones: Sin citaciones
La mayoría de los rastreadores actuales utilizan solo las características de nivel más alto para lograr un rendimiento de seguimiento más rápido, lo que dificulta lograr un seguimiento preciso de objetos pequeños y de baja resolución. Para abordar este problema, proponemos un enfoque de seguimiento de transformadores multi-escala basado en anclas de extremo a extremo (AMTT) para mejorar el rendimiento de seguimiento de la red para objetos de diferentes tamaños. Primero, diseñamos un codificador de características multi-escala basado en el transformador deformable, que fusiona mejor las características de plantilla de múltiples capas y las características de búsqueda a través del módulo de auto-mejora y el módulo de cruce para mejorar la atención de toda la red a objetos de diferentes tamaños. Luego, para reducir la sobrecarga computacional del decodificador mientras se mejoran aún más las características multi-escala, diseñamos un bloque de enfoque de características para comprimir el número de características codificadas. Finalmente, introducimos un ancla de características en el decodificador tradicional y diseñamos un decodificador basado en anclas, que utiliza el ancla de características para guiar al decodificador a adaptarse a los cambios en la escala del objeto y lograr un rendimiento de seguimiento más preciso. Para confirmar la efectividad de nuestro método propuesto, realizamos una serie de experimentos en diferentes conjuntos de datos como UAV123, OTB100 y GOT10k. Los resultados muestran que nuestro método adoptado exhibe un rendimiento altamente competitivo en comparación con los métodos de vanguardia en los últimos años.
Descripción
La mayoría de los rastreadores actuales utilizan solo las características de nivel más alto para lograr un rendimiento de seguimiento más rápido, lo que dificulta lograr un seguimiento preciso de objetos pequeños y de baja resolución. Para abordar este problema, proponemos un enfoque de seguimiento de transformadores multi-escala basado en anclas de extremo a extremo (AMTT) para mejorar el rendimiento de seguimiento de la red para objetos de diferentes tamaños. Primero, diseñamos un codificador de características multi-escala basado en el transformador deformable, que fusiona mejor las características de plantilla de múltiples capas y las características de búsqueda a través del módulo de auto-mejora y el módulo de cruce para mejorar la atención de toda la red a objetos de diferentes tamaños. Luego, para reducir la sobrecarga computacional del decodificador mientras se mejoran aún más las características multi-escala, diseñamos un bloque de enfoque de características para comprimir el número de características codificadas. Finalmente, introducimos un ancla de características en el decodificador tradicional y diseñamos un decodificador basado en anclas, que utiliza el ancla de características para guiar al decodificador a adaptarse a los cambios en la escala del objeto y lograr un rendimiento de seguimiento más preciso. Para confirmar la efectividad de nuestro método propuesto, realizamos una serie de experimentos en diferentes conjuntos de datos como UAV123, OTB100 y GOT10k. Los resultados muestran que nuestro método adoptado exhibe un rendimiento altamente competitivo en comparación con los métodos de vanguardia en los últimos años.