D-transT: seguimiento de transformadores deformables
Autores: Zhou, Jiahang; Yao, Yuanzhe; Yang, Rong; Xia, Yuheng
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
D-transT: seguimiento de transformadores deformables
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Red siamesa
Seguimiento de objetos
Problema de emparejamiento de similitudes
Filtros de correlación
Seguimiento de transformadores
Módulo de atención deformable
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
El tracker basado en la red Siamesa describe la tarea de seguimiento de objetos como un problema de emparejamiento de similitudes. La red Siamesa es el modelo principal actual. Logra el aprendizaje de similitudes aplicando filtros de correlación a las características de convolución de las ramas de objetivo y búsqueda. Sin embargo, debido a que la operación de correlación utiliza un proceso de emparejamiento lineal local, se pierde información semántica y es fácil caer en el problema de la optimalidad local. El Seguimiento Transformer ha sido propuesto recientemente utilizando una red de fusión de características basada en atención en lugar de la operación de correlación previa para lograr excelentes resultados. Sin embargo, solo utiliza una resolución limitada del espacio de características. Debido a las limitaciones del módulo Transformer, la convergencia de la red también es muy lenta. Proponemos Deformable Transformer Tracking (D-TransT) que emplea un módulo de atención deformable que prefiltra los elementos clave prominentes entre todos los píxeles del mapa de características utilizando un pequeño conjunto de ubicaciones de muestreo, y este módulo puede ser naturalmente extensible para agregar características multi-escala. D-TransT puede tener una convergencia más rápida y una mejor predicción que Transformer Tracking. D-TransT mejora la velocidad de convergencia en un 29.4% y logra 65.6%, 73.3% y 69.1% en AUC y P, respectivamente. Los resultados experimentales demuestran que el tracker propuesto funciona mejor que el algoritmo más avanzado.
Descripción
El tracker basado en la red Siamesa describe la tarea de seguimiento de objetos como un problema de emparejamiento de similitudes. La red Siamesa es el modelo principal actual. Logra el aprendizaje de similitudes aplicando filtros de correlación a las características de convolución de las ramas de objetivo y búsqueda. Sin embargo, debido a que la operación de correlación utiliza un proceso de emparejamiento lineal local, se pierde información semántica y es fácil caer en el problema de la optimalidad local. El Seguimiento Transformer ha sido propuesto recientemente utilizando una red de fusión de características basada en atención en lugar de la operación de correlación previa para lograr excelentes resultados. Sin embargo, solo utiliza una resolución limitada del espacio de características. Debido a las limitaciones del módulo Transformer, la convergencia de la red también es muy lenta. Proponemos Deformable Transformer Tracking (D-TransT) que emplea un módulo de atención deformable que prefiltra los elementos clave prominentes entre todos los píxeles del mapa de características utilizando un pequeño conjunto de ubicaciones de muestreo, y este módulo puede ser naturalmente extensible para agregar características multi-escala. D-TransT puede tener una convergencia más rápida y una mejor predicción que Transformer Tracking. D-TransT mejora la velocidad de convergencia en un 29.4% y logra 65.6%, 73.3% y 69.1% en AUC y P, respectivamente. Los resultados experimentales demuestran que el tracker propuesto funciona mejor que el algoritmo más avanzado.