Mfvt: multilevel feature fusion vision transformer and ramix data augmentation for fine-grained visual categorization
Autores: Lv, Xinyao; Xia, Hao; Li, Na; Li, Xudong; Lan, Ruoming
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Mfvt: multilevel feature fusion vision transformer and ramix data augmentation for fine-grained visual categorization
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Introducción
Transformador de Visión
ViT
Categorización visual detallada
FGVC
Transformador de fusión de características multinivel
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
La introducción y aplicación del Transformador de Visión (ViT) ha promovido el desarrollo de la categorización visual detallada (FGVC). Sin embargo, existen algunos problemas al aplicar ViT directamente a tareas de FGVC. ViT solo clasifica utilizando el token de clase en la última capa, ignorando las características locales y de bajo nivel necesarias para FGVC. Proponemos un transformador de fusión de características multinivel (MFVT) basado en ViT para tareas de FGVC. En este marco, con referencia a ViT, la red principal adopta 12 capas de bloques de Transformador, la divide en cuatro etapas y agrega fusión de características multinivel (MFF) entre las capas del Transformador. También diseñamos RAMix, una estrategia de aumento de datos basada en CutMix que utiliza la estrategia de redimensionamiento para imágenes de recorte y pegado y asignación de etiquetas basada en atención. Los experimentos en los conjuntos de datos CUB-200-2011, Stanford Dogs e iNaturalist 2017 arrojaron resultados competitivos, especialmente en el desafiante iNaturalist 2017, con una tasa de precisión del 72.6%.
Descripción
La introducción y aplicación del Transformador de Visión (ViT) ha promovido el desarrollo de la categorización visual detallada (FGVC). Sin embargo, existen algunos problemas al aplicar ViT directamente a tareas de FGVC. ViT solo clasifica utilizando el token de clase en la última capa, ignorando las características locales y de bajo nivel necesarias para FGVC. Proponemos un transformador de fusión de características multinivel (MFVT) basado en ViT para tareas de FGVC. En este marco, con referencia a ViT, la red principal adopta 12 capas de bloques de Transformador, la divide en cuatro etapas y agrega fusión de características multinivel (MFF) entre las capas del Transformador. También diseñamos RAMix, una estrategia de aumento de datos basada en CutMix que utiliza la estrategia de redimensionamiento para imágenes de recorte y pegado y asignación de etiquetas basada en atención. Los experimentos en los conjuntos de datos CUB-200-2011, Stanford Dogs e iNaturalist 2017 arrojaron resultados competitivos, especialmente en el desafiante iNaturalist 2017, con una tasa de precisión del 72.6%.