logo móvil
Contáctanos

La difusión semántica discrepante aumenta la robustez del aprendizaje por transferencia

Autores: Gao, Yajun; Bai, Shihao; Zhao, Xiaowei; Gong, Ruihao; Wu, Yan; Ma, Yuqing

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

La difusión semántica discrepante aumenta la robustez del aprendizaje por transferencia


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Transfer learning
Modelo
Conjuntos de datos descendentes
Discrepancia semántica
Clasificación
Pre-entrenamiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 39

Citaciones: Sin citaciones


Descripción
El aprendizaje por transferencia podría mejorar la robustez y generalización del modelo, reduciendo posibles riesgos de privacidad y seguridad. Funciona mediante el ajuste fino de un modelo pre-entrenado en conjuntos de datos descendentes. Este proceso no solo mejora la capacidad del modelo para adquirir características generalizables, sino que también asegura una alineación efectiva entre los dominios de conocimiento ascendente y descendente. El aprendizaje por transferencia puede acelerar de manera efectiva la convergencia del modelo al adaptarse a tareas novedosas, lo que conduce a la conservación eficiente tanto de datos como de recursos computacionales. Sin embargo, los métodos existentes a menudo descuidan las conexiones discrepantes descendentes-ascendentes. En su lugar, preservan rígidamente la información ascendente sin una regularización adecuada de la discrepancia semántica descendente. En consecuencia, esto resulta en una generalización débil, problemas con la clasificación colapsada y un rendimiento general inferior. La razón principal radica en la conexión colapsada descendente-ascendente debido a la granularidad semántica desigual. Por lo tanto, proponemos un método de difusión semántica discrepante para el aprendizaje por transferencia, que podría ajustar la granularidad semántica desigual y aliviar el problema de clasificación colapsada para mejorar el rendimiento del aprendizaje por transferencia. Específicamente, el marco propuesto consta de una Difusión Guiada por Prior para el pre-entrenamiento y una difusión discrepante para el ajuste fino. En primer lugar, la Difusión Guiada por Prior tiene como objetivo dotar al modelo pre-entrenado con la capacidad de difusión semántica. Esto se logra a través de un prior semántico, que proporciona consecuentemente un modelo pre-entrenado más robusto para la clasificación descendente. En segundo lugar, la difusión discrepante se centra en fomentar la difusión semántica. Su diseño pretende evitar la centralización semántica no deseada, que a menudo causa la clasificación colapsada. Además, está limitado por la discrepancia semántica, sirviendo para elevar las capacidades de discriminación descendente. Experimentos extensos en ocho conjuntos de datos de clasificación descendente prevalentes confirman que nuestro método puede superar a varios enfoques de vanguardia, especialmente para conjuntos de datos detallados o conjuntos de datos diferentes a los datos ascendentes (por ejemplo, una mejora del 3.75% para el conjunto de datos de Autos y una mejora del 1.79% para el conjunto de datos de SUN en el escenario de poca cantidad de datos). Además, los experimentos de escasez de datos causados por la protección de la privacidad validan con éxito la efectividad de nuestro método propuesto en el campo de la seguridad de la inteligencia artificial.

Otros recursos que podrían interesarte

Temas Virtualpro