Una red de triple adversario impulsada por atención híbrida de alto orden para adaptación de dominio
Autores: Wang, Meng; Fu, Jiawei
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Una red de triple adversario impulsada por atención híbrida de alto orden para adaptación de dominio
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Puente
Brecha de conocimiento
Adaptación de dominio
Alineación de características
Atención de alto orden
Estrategia adversarial
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Cómo cerrar la brecha de conocimiento entre el dominio fuente anotado y el dominio objetivo no etiquetado es un desafío básico para la adaptación de dominio. Los enfoques existentes pueden aliviar esta brecha mediante alineaciones de características entre dominios; sin embargo, alinear características no transferibles puede llevar a un cambio negativo que confunde el aprendizaje de conocimientos en los dominios objetivo. En este documento, se propone una red adversaria triple sobre la base de una atención de alto orden, con la esperanza de resolver el problema. La arquitectura propuesta se centra en la alineación detallada de características mediante una atención híbrida de alto orden utilizando un algoritmo de iteración rápida. Además, se aplica una pérdida ortogonal de dos módulos complementarios para restringir la exclusión mutua de características de primer plano y de fondo. Finalmente, se introduce una estrategia adversaria triple para mejorar aún más la convergencia del entrenamiento para las arquitecturas compuestas. Experimentos numéricos en conjuntos de datos de Dígitos, Office-31 y Office-home ilustran que la red propuesta puede mejorar efectivamente las adaptaciones de dominio de vanguardia con un rendimiento de transferencia superior.
Descripción
Cómo cerrar la brecha de conocimiento entre el dominio fuente anotado y el dominio objetivo no etiquetado es un desafío básico para la adaptación de dominio. Los enfoques existentes pueden aliviar esta brecha mediante alineaciones de características entre dominios; sin embargo, alinear características no transferibles puede llevar a un cambio negativo que confunde el aprendizaje de conocimientos en los dominios objetivo. En este documento, se propone una red adversaria triple sobre la base de una atención de alto orden, con la esperanza de resolver el problema. La arquitectura propuesta se centra en la alineación detallada de características mediante una atención híbrida de alto orden utilizando un algoritmo de iteración rápida. Además, se aplica una pérdida ortogonal de dos módulos complementarios para restringir la exclusión mutua de características de primer plano y de fondo. Finalmente, se introduce una estrategia adversaria triple para mejorar aún más la convergencia del entrenamiento para las arquitecturas compuestas. Experimentos numéricos en conjuntos de datos de Dígitos, Office-31 y Office-home ilustran que la red propuesta puede mejorar efectivamente las adaptaciones de dominio de vanguardia con un rendimiento de transferencia superior.