logo móvil
Contáctanos

Mfvt: multilevel feature fusion vision transformer and ramix data augmentation for fine-grained visual categorization

Autores: Lv, Xinyao; Xia, Hao; Li, Na; Li, Xudong; Lan, Ruoming

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Mfvt: multilevel feature fusion vision transformer and ramix data augmentation for fine-grained visual categorization


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Introducción
Transformador de Visión
ViT
Categorización visual detallada
FGVC
Transformador de fusión de características multinivel

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 25

Citaciones: Sin citaciones


Descripción
La introducción y aplicación del Transformador de Visión (ViT) ha promovido el desarrollo de la categorización visual detallada (FGVC). Sin embargo, existen algunos problemas al aplicar ViT directamente a tareas de FGVC. ViT solo clasifica utilizando el token de clase en la última capa, ignorando las características locales y de bajo nivel necesarias para FGVC. Proponemos un transformador de fusión de características multinivel (MFVT) basado en ViT para tareas de FGVC. En este marco, con referencia a ViT, la red principal adopta 12 capas de bloques de Transformador, la divide en cuatro etapas y agrega fusión de características multinivel (MFF) entre las capas del Transformador. También diseñamos RAMix, una estrategia de aumento de datos basada en CutMix que utiliza la estrategia de redimensionamiento para imágenes de recorte y pegado y asignación de etiquetas basada en atención. Los experimentos en los conjuntos de datos CUB-200-2011, Stanford Dogs e iNaturalist 2017 arrojaron resultados competitivos, especialmente en el desafiante iNaturalist 2017, con una tasa de precisión del 72.6%.

Otros recursos que podrían interesarte

Temas Virtualpro