La difusión semántica discrepante aumenta la robustez del aprendizaje por transferencia
Autores: Gao, Yajun; Bai, Shihao; Zhao, Xiaowei; Gong, Ruihao; Wu, Yan; Ma, Yuqing
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
La difusión semántica discrepante aumenta la robustez del aprendizaje por transferencia
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Transfer learning
Modelo
Conjuntos de datos descendentes
Discrepancia semántica
Clasificación
Pre-entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
El aprendizaje por transferencia podría mejorar la robustez y generalización del modelo, reduciendo posibles riesgos de privacidad y seguridad. Funciona mediante el ajuste fino de un modelo pre-entrenado en conjuntos de datos descendentes. Este proceso no solo mejora la capacidad del modelo para adquirir características generalizables, sino que también asegura una alineación efectiva entre los dominios de conocimiento ascendente y descendente. El aprendizaje por transferencia puede acelerar de manera efectiva la convergencia del modelo al adaptarse a tareas novedosas, lo que conduce a la conservación eficiente tanto de datos como de recursos computacionales. Sin embargo, los métodos existentes a menudo descuidan las conexiones discrepantes descendentes-ascendentes. En su lugar, preservan rígidamente la información ascendente sin una regularización adecuada de la discrepancia semántica descendente. En consecuencia, esto resulta en una generalización débil, problemas con la clasificación colapsada y un rendimiento general inferior. La razón principal radica en la conexión colapsada descendente-ascendente debido a la granularidad semántica desigual. Por lo tanto, proponemos un método de difusión semántica discrepante para el aprendizaje por transferencia, que podría ajustar la granularidad semántica desigual y aliviar el problema de clasificación colapsada para mejorar el rendimiento del aprendizaje por transferencia. Específicamente, el marco propuesto consta de una Difusión Guiada por Prior para el pre-entrenamiento y una difusión discrepante para el ajuste fino. En primer lugar, la Difusión Guiada por Prior tiene como objetivo dotar al modelo pre-entrenado con la capacidad de difusión semántica. Esto se logra a través de un prior semántico, que proporciona consecuentemente un modelo pre-entrenado más robusto para la clasificación descendente. En segundo lugar, la difusión discrepante se centra en fomentar la difusión semántica. Su diseño pretende evitar la centralización semántica no deseada, que a menudo causa la clasificación colapsada. Además, está limitado por la discrepancia semántica, sirviendo para elevar las capacidades de discriminación descendente. Experimentos extensos en ocho conjuntos de datos de clasificación descendente prevalentes confirman que nuestro método puede superar a varios enfoques de vanguardia, especialmente para conjuntos de datos detallados o conjuntos de datos diferentes a los datos ascendentes (por ejemplo, una mejora del 3.75% para el conjunto de datos de Autos y una mejora del 1.79% para el conjunto de datos de SUN en el escenario de poca cantidad de datos). Además, los experimentos de escasez de datos causados por la protección de la privacidad validan con éxito la efectividad de nuestro método propuesto en el campo de la seguridad de la inteligencia artificial.
Descripción
El aprendizaje por transferencia podría mejorar la robustez y generalización del modelo, reduciendo posibles riesgos de privacidad y seguridad. Funciona mediante el ajuste fino de un modelo pre-entrenado en conjuntos de datos descendentes. Este proceso no solo mejora la capacidad del modelo para adquirir características generalizables, sino que también asegura una alineación efectiva entre los dominios de conocimiento ascendente y descendente. El aprendizaje por transferencia puede acelerar de manera efectiva la convergencia del modelo al adaptarse a tareas novedosas, lo que conduce a la conservación eficiente tanto de datos como de recursos computacionales. Sin embargo, los métodos existentes a menudo descuidan las conexiones discrepantes descendentes-ascendentes. En su lugar, preservan rígidamente la información ascendente sin una regularización adecuada de la discrepancia semántica descendente. En consecuencia, esto resulta en una generalización débil, problemas con la clasificación colapsada y un rendimiento general inferior. La razón principal radica en la conexión colapsada descendente-ascendente debido a la granularidad semántica desigual. Por lo tanto, proponemos un método de difusión semántica discrepante para el aprendizaje por transferencia, que podría ajustar la granularidad semántica desigual y aliviar el problema de clasificación colapsada para mejorar el rendimiento del aprendizaje por transferencia. Específicamente, el marco propuesto consta de una Difusión Guiada por Prior para el pre-entrenamiento y una difusión discrepante para el ajuste fino. En primer lugar, la Difusión Guiada por Prior tiene como objetivo dotar al modelo pre-entrenado con la capacidad de difusión semántica. Esto se logra a través de un prior semántico, que proporciona consecuentemente un modelo pre-entrenado más robusto para la clasificación descendente. En segundo lugar, la difusión discrepante se centra en fomentar la difusión semántica. Su diseño pretende evitar la centralización semántica no deseada, que a menudo causa la clasificación colapsada. Además, está limitado por la discrepancia semántica, sirviendo para elevar las capacidades de discriminación descendente. Experimentos extensos en ocho conjuntos de datos de clasificación descendente prevalentes confirman que nuestro método puede superar a varios enfoques de vanguardia, especialmente para conjuntos de datos detallados o conjuntos de datos diferentes a los datos ascendentes (por ejemplo, una mejora del 3.75% para el conjunto de datos de Autos y una mejora del 1.79% para el conjunto de datos de SUN en el escenario de poca cantidad de datos). Además, los experimentos de escasez de datos causados por la protección de la privacidad validan con éxito la efectividad de nuestro método propuesto en el campo de la seguridad de la inteligencia artificial.