Dinámica de los modos de Fourier en redes generativas adversarias de toro
Autores: González-Prieto, Ángel; Mozo, Alberto; Talavera, Edgar; Gómez-Canaval, Sandra
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Dinámica de los modos de Fourier en redes generativas adversarias de toro
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes generativas adversarias
Proceso de entrenamiento
Estabilidad
Convergencia
Series de Fourier
Equilibrios de Nash
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Las Redes Generativas Adversarias (GANs) son modelos poderosos de aprendizaje automático capaces de generar muestras completamente sintéticas de un fenómeno deseado con alta resolución. A pesar de su éxito, el proceso de entrenamiento de una GAN es altamente inestable y, típicamente, es necesario implementar varios heurísticos accesorios a las redes para alcanzar una convergencia aceptable del modelo. En este documento, presentamos un método novedoso para analizar la convergencia y estabilidad en el entrenamiento de redes generativas adversarias. Con este propósito, proponemos descomponer la función objetivo del juego min-max del adversario definiendo una GAN periódica en su serie de Fourier. Al estudiar la dinámica de la serie de Fourier truncada para el algoritmo continuo de descenso de gradiente alternante, somos capaces de aproximar el flujo real e identificar las principales características de la convergencia de GAN. Este enfoque es confirmado empíricamente al estudiar el flujo de entrenamiento en una GAN de 2 parámetros, con el objetivo de generar una distribución exponencial desconocida. Como subproducto, demostramos que las órbitas convergentes en las GANs son pequeñas perturbaciones de órbitas periódicas, por lo que los equilibrios de Nash son atractores en espiral. Esto justifica teóricamente la lenta e inestable formación observada en las GANs.
Descripción
Las Redes Generativas Adversarias (GANs) son modelos poderosos de aprendizaje automático capaces de generar muestras completamente sintéticas de un fenómeno deseado con alta resolución. A pesar de su éxito, el proceso de entrenamiento de una GAN es altamente inestable y, típicamente, es necesario implementar varios heurísticos accesorios a las redes para alcanzar una convergencia aceptable del modelo. En este documento, presentamos un método novedoso para analizar la convergencia y estabilidad en el entrenamiento de redes generativas adversarias. Con este propósito, proponemos descomponer la función objetivo del juego min-max del adversario definiendo una GAN periódica en su serie de Fourier. Al estudiar la dinámica de la serie de Fourier truncada para el algoritmo continuo de descenso de gradiente alternante, somos capaces de aproximar el flujo real e identificar las principales características de la convergencia de GAN. Este enfoque es confirmado empíricamente al estudiar el flujo de entrenamiento en una GAN de 2 parámetros, con el objetivo de generar una distribución exponencial desconocida. Como subproducto, demostramos que las órbitas convergentes en las GANs son pequeñas perturbaciones de órbitas periódicas, por lo que los equilibrios de Nash son atractores en espiral. Esto justifica teóricamente la lenta e inestable formación observada en las GANs.