Ask-ViT: un modelo con mejor robustez ViT mediante la incorporación de módulos SK utilizando entrenamiento adversarial
Autores: Chang, Youkang; Zhao, Hong; Wang, Weijie
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Ask-ViT: un modelo con mejor robustez ViT mediante la incorporación de módulos SK utilizando entrenamiento adversarial
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelo
ViTs
Robustez
ASK-ViT
Módulo SK
Ataques adversariales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
El modelo ViTs ha sido ampliamente utilizado desde que fue propuesto, y su rendimiento en conjuntos de datos a gran escala ha superado el de los modelos CNN. Para implementar de manera segura el modelo ViTs en escenarios de aplicación práctica, es necesario investigar su robustez. Hay pocos estudios sobre la robustez del modelo ViT, por lo tanto, este estudio investiga la robustez del modelo ViT frente a ataques de ejemplos adversarios, y propone el modelo ASK-ViT con una mayor robustez al introducir el módulo SK. El módulo SK consta de tres pasos, Dividir, Fusionar y Seleccionar, que seleccionan de forma adaptativa el tamaño del campo perceptual según la entrada de información a varias escalas, y extraen las características que ayudan al modelo a clasificar ejemplos. Además, se utiliza el entrenamiento adversarial en el proceso de entrenamiento. Los resultados experimentales muestran que la precisión del método de defensa propuesto contra los ataques C&W, DIFGSM, MDI2FGSM, ImageNet-A y ImageNet-R es del 30.104%, 29.146%, 28.885%, 29.573% y 48.867%, respectivamente. En comparación con otros métodos, el método en este estudio muestra una mayor robustez.
Descripción
El modelo ViTs ha sido ampliamente utilizado desde que fue propuesto, y su rendimiento en conjuntos de datos a gran escala ha superado el de los modelos CNN. Para implementar de manera segura el modelo ViTs en escenarios de aplicación práctica, es necesario investigar su robustez. Hay pocos estudios sobre la robustez del modelo ViT, por lo tanto, este estudio investiga la robustez del modelo ViT frente a ataques de ejemplos adversarios, y propone el modelo ASK-ViT con una mayor robustez al introducir el módulo SK. El módulo SK consta de tres pasos, Dividir, Fusionar y Seleccionar, que seleccionan de forma adaptativa el tamaño del campo perceptual según la entrada de información a varias escalas, y extraen las características que ayudan al modelo a clasificar ejemplos. Además, se utiliza el entrenamiento adversarial en el proceso de entrenamiento. Los resultados experimentales muestran que la precisión del método de defensa propuesto contra los ataques C&W, DIFGSM, MDI2FGSM, ImageNet-A y ImageNet-R es del 30.104%, 29.146%, 28.885%, 29.573% y 48.867%, respectivamente. En comparación con otros métodos, el método en este estudio muestra una mayor robustez.