Mejorando la transferencia de conocimiento de redes heterogéneas basada en el principio de adversarios generativos
Autores: Lei, Feifei; Cheng, Jieren; Yang, Yue; Tang, Xiangyan; Sheng, Victor S.; Huang, Chunzao
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Mejorando la transferencia de conocimiento de redes heterogéneas basada en el principio de adversarios generativos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Gran cantidad de conjuntos de datos
Aprendizaje profundo
Redes de transferencia
Costos de entrenamiento
Modelo de tarea objetivo
Coincidencia de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
El aprendizaje profundo requiere una gran cantidad de conjuntos de datos para entrenar modelos de redes neuronales profundas para tareas específicas, y por lo tanto, el entrenamiento de un nuevo modelo es una tarea muy costosa. La investigación sobre redes de transferencia utilizadas para reducir los costos de entrenamiento será el próximo punto de inflexión en la investigación de aprendizaje profundo. El uso de modelos de tareas fuente para ayudar a reducir los costos de entrenamiento de los modelos de tareas objetivo, especialmente en sistemas heterogéneos, es un problema que estamos estudiando. Para obtener rápidamente un excelente modelo de tarea objetivo impulsado por el modelo de tarea fuente, proponemos un enfoque novedoso de aprendizaje por transferencia. El modelo transforma linealmente el mapeo de características del dominio objetivo y aumenta el valor del peso para el emparejamiento de características para realizar la transferencia de conocimientos entre redes heterogéneas y agrega un discriminador de dominio basado en el principio de adversario generativo para acelerar el mapeo de características y el aprendizaje. Lo más importante, este trabajo propone un nuevo esquema de optimización de la función objetivo para completar el entrenamiento del modelo. Combina con éxito la red adversaria generativa con el método de emparejamiento de características de peso para garantizar que el modelo objetivo aprenda las características más beneficiosas del dominio fuente para su tarea. En comparación con el algoritmo de transferencia anterior, nuestros resultados de entrenamiento son excelentes bajo el mismo punto de referencia para tareas de reconocimiento de imágenes.
Descripción
El aprendizaje profundo requiere una gran cantidad de conjuntos de datos para entrenar modelos de redes neuronales profundas para tareas específicas, y por lo tanto, el entrenamiento de un nuevo modelo es una tarea muy costosa. La investigación sobre redes de transferencia utilizadas para reducir los costos de entrenamiento será el próximo punto de inflexión en la investigación de aprendizaje profundo. El uso de modelos de tareas fuente para ayudar a reducir los costos de entrenamiento de los modelos de tareas objetivo, especialmente en sistemas heterogéneos, es un problema que estamos estudiando. Para obtener rápidamente un excelente modelo de tarea objetivo impulsado por el modelo de tarea fuente, proponemos un enfoque novedoso de aprendizaje por transferencia. El modelo transforma linealmente el mapeo de características del dominio objetivo y aumenta el valor del peso para el emparejamiento de características para realizar la transferencia de conocimientos entre redes heterogéneas y agrega un discriminador de dominio basado en el principio de adversario generativo para acelerar el mapeo de características y el aprendizaje. Lo más importante, este trabajo propone un nuevo esquema de optimización de la función objetivo para completar el entrenamiento del modelo. Combina con éxito la red adversaria generativa con el método de emparejamiento de características de peso para garantizar que el modelo objetivo aprenda las características más beneficiosas del dominio fuente para su tarea. En comparación con el algoritmo de transferencia anterior, nuestros resultados de entrenamiento son excelentes bajo el mismo punto de referencia para tareas de reconocimiento de imágenes.