Aprender a Proponer y Refinar para un Seguimiento Preciso y Robusto a través de una Convolución de Alineación
Autores: Mo, Zhiyi; Li, Zhi
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprender a Proponer y Refinar para un Seguimiento Preciso y Robusto a través de una Convolución de Alineación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Extracción de características
Seguimiento
Red siamés
Convolución
Propuestas
Alineación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La extracción de características precisa y robusta juega un papel clave en el seguimiento de alto rendimiento para analizar videos de drones, vigilancia y conducción automática, etc. Sin embargo, la mayoría de los rastreadores basados en redes Siamese existentes se centran principalmente en construir modelos de red complicados y estrategias de refinamiento, mientras utilizan convoluciones convencionales o deformables comparativamente simples y heurísticas para extraer características de las posiciones de muestreo que pueden estar lejos de una región objetivo. En consecuencia, las características extraídas de manera burda pueden introducir ruido de fondo y degradar el rendimiento del seguimiento. Para abordar este problema, presentamos un rastreador de propuesta y refinamiento (PRTracker) que combina propuestas de estilo sin anclaje a nivel burdo y refinamiento impulsado por convolución de alineación a nivel fino. Específicamente, a nivel burdo, diseñamos un modelo sin anclaje para generar de manera efectiva propuestas que proporcionen regiones de interés más confiables para una verificación posterior. A nivel fino, se adopta una estrategia de refinamiento basada en convolución de alineación para mejorar las posiciones de muestreo convolucional de las propuestas, haciendo que la clasificación y regresión de las mismas sean más precisas. Al utilizar la convolución de alineación, las posiciones de muestreo convolucional de las propuestas pueden ser re-localizadas de manera eficiente y efectiva, mejorando así la precisión de las características extraídas. Finalmente, se diseña una máscara de objetivo simple pero robusta para aprovechar al máximo el estado inicial de un objetivo y mejorar aún más el rendimiento del seguimiento. El PRTracker propuesto logra un rendimiento competitivo contra seis puntos de referencia de seguimiento (es decir, UAV123, VOT2018, VOT2019, OTB100, NfS y LaSOT) a 75 FPS.
Descripción
La extracción de características precisa y robusta juega un papel clave en el seguimiento de alto rendimiento para analizar videos de drones, vigilancia y conducción automática, etc. Sin embargo, la mayoría de los rastreadores basados en redes Siamese existentes se centran principalmente en construir modelos de red complicados y estrategias de refinamiento, mientras utilizan convoluciones convencionales o deformables comparativamente simples y heurísticas para extraer características de las posiciones de muestreo que pueden estar lejos de una región objetivo. En consecuencia, las características extraídas de manera burda pueden introducir ruido de fondo y degradar el rendimiento del seguimiento. Para abordar este problema, presentamos un rastreador de propuesta y refinamiento (PRTracker) que combina propuestas de estilo sin anclaje a nivel burdo y refinamiento impulsado por convolución de alineación a nivel fino. Específicamente, a nivel burdo, diseñamos un modelo sin anclaje para generar de manera efectiva propuestas que proporcionen regiones de interés más confiables para una verificación posterior. A nivel fino, se adopta una estrategia de refinamiento basada en convolución de alineación para mejorar las posiciones de muestreo convolucional de las propuestas, haciendo que la clasificación y regresión de las mismas sean más precisas. Al utilizar la convolución de alineación, las posiciones de muestreo convolucional de las propuestas pueden ser re-localizadas de manera eficiente y efectiva, mejorando así la precisión de las características extraídas. Finalmente, se diseña una máscara de objetivo simple pero robusta para aprovechar al máximo el estado inicial de un objetivo y mejorar aún más el rendimiento del seguimiento. El PRTracker propuesto logra un rendimiento competitivo contra seis puntos de referencia de seguimiento (es decir, UAV123, VOT2018, VOT2019, OTB100, NfS y LaSOT) a 75 FPS.