Pegan: redes generativas adversarias evolutivas con módulo de autoatención
Autores: Xue, Yu; Tong, Weinan; Neri, Ferrante; Zhang, Yixia
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Pegan: redes generativas adversarias evolutivas con módulo de autoatención
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes generativas adversarias
Redes generativas adversarias evolutivas
Redes generativas adversarias evolutivas por fases
Módulo de autoatención
Estabilidad en el entrenamiento
Muestras de alta calidad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
Las redes generativas adversariales han logrado logros notables en tareas generativas. Sin embargo, la inestabilidad y el colapso de modos siguen siendo problemas frecuentes. Mejoramos el marco de las redes generativas adversariales evolutivas (E-GANs), llamándolas redes generativas adversariales evolutivas por fases (PEGANs), y adoptamos un módulo de autoatención para mejorar las desventajas de las operaciones convolucionales. Durante el proceso de entrenamiento, el discriminador jugará contra múltiples generadores simultáneamente, donde cada generador adopta una función objetivo diferente como operación de mutación. Cada vez después de un número especificado de iteraciones de entrenamiento, los individuos generadores serán evaluados y el mejor generador descendiente se conservará para la siguiente ronda de evolución. Basado en esto, el generador puede ajustar continuamente la estrategia de entrenamiento durante el entrenamiento, y el módulo de autoatención también permite que el modelo obtenga la capacidad de modelado de dependencias a largo plazo. Experimentos en dos conjuntos de datos mostraron que PEGANs mejoran la estabilidad del entrenamiento y son competitivos en la generación de muestras de alta calidad.
Descripción
Las redes generativas adversariales han logrado logros notables en tareas generativas. Sin embargo, la inestabilidad y el colapso de modos siguen siendo problemas frecuentes. Mejoramos el marco de las redes generativas adversariales evolutivas (E-GANs), llamándolas redes generativas adversariales evolutivas por fases (PEGANs), y adoptamos un módulo de autoatención para mejorar las desventajas de las operaciones convolucionales. Durante el proceso de entrenamiento, el discriminador jugará contra múltiples generadores simultáneamente, donde cada generador adopta una función objetivo diferente como operación de mutación. Cada vez después de un número especificado de iteraciones de entrenamiento, los individuos generadores serán evaluados y el mejor generador descendiente se conservará para la siguiente ronda de evolución. Basado en esto, el generador puede ajustar continuamente la estrategia de entrenamiento durante el entrenamiento, y el módulo de autoatención también permite que el modelo obtenga la capacidad de modelado de dependencias a largo plazo. Experimentos en dos conjuntos de datos mostraron que PEGANs mejoran la estabilidad del entrenamiento y son competitivos en la generación de muestras de alta calidad.