Desde el principio hasta el comienzo: el papel del aprendizaje adversarial en la remodelación de modelos generativos
Autores: Bhandari, Aradhita; Tripathy, Balakrushna; Adate, Amit; Saxena, Rishabh; Gadekallu, Thippa Reddy
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Desde el principio hasta el comienzo: el papel del aprendizaje adversarial en la remodelación de modelos generativos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos generativos profundos
Funciones de probabilidad
Redes estocásticas generativas
Redes adversarias generativas
Hiperparámetros
Colapso modal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
Los modelos generativos profundos, como las máquinas Boltzmann profundas, se centraron en modelos que proporcionaban una especificación paramétrica de las funciones de distribución de probabilidad. Tales modelos se entrenan maximizando funciones de verosimilitud intractables, y por lo tanto requieren numerosas aproximaciones al gradiente de verosimilitud. Esta dificultad subyacente llevó al desarrollo de máquinas generativas como las redes estocásticas generativas, que no representan explícitamente las funciones de verosimilitud, como los modelos anteriores, pero se entrenan con retropropagación exacta en lugar de las numerosas aproximaciones. Estos modelos utilizan unidades lineales por partes que tienen gradientes bien comportados. Las máquinas generativas se extendieron aún más con la introducción de una red adversaria asociativa que llevó al modelo de redes adversarias generativas (GANs) de Goodfellow en 2014. Las estimaciones en el proceso GANs involucran dos perceptrones multicapa, llamados el modelo generativo y el modelo discriminativo. Estos se aprenden conjuntamente alternando el entrenamiento de los dos modelos, utilizando principios de teoría de juegos. Sin embargo, GAN tiene muchas dificultades, incluyendo: la dificultad de entrenar los modelos; la criticidad en la selección de hiperparámetros; la dificultad en el control de las muestras generadas; el equilibrio en la convergencia del discriminador y el generador; y el problema del colapso modal. Desde su inicio, se han realizado esfuerzos para abordar estos problemas uno por uno o en múltiples etapas por muchos investigadores. Sin embargo, la mayoría de estos problemas se han manejado eficientemente en el modelo de redes adversarias generativas de equilibrio de frontera (BEGAN) presentado por Berthelot et al. en 2017. En este trabajo presentamos el advenimiento de las redes adversarias, comenzando con la historia detrás de los modelos y los desarrollos realizados en GANs hasta que se introdujo el modelo BEGAN. Dado que ha pasado algún tiempo desde la propuesta de BEGAN, proporcionamos un estudio actualizado, así como futuras direcciones para varios aspectos del aprendizaje adversarial.
Descripción
Los modelos generativos profundos, como las máquinas Boltzmann profundas, se centraron en modelos que proporcionaban una especificación paramétrica de las funciones de distribución de probabilidad. Tales modelos se entrenan maximizando funciones de verosimilitud intractables, y por lo tanto requieren numerosas aproximaciones al gradiente de verosimilitud. Esta dificultad subyacente llevó al desarrollo de máquinas generativas como las redes estocásticas generativas, que no representan explícitamente las funciones de verosimilitud, como los modelos anteriores, pero se entrenan con retropropagación exacta en lugar de las numerosas aproximaciones. Estos modelos utilizan unidades lineales por partes que tienen gradientes bien comportados. Las máquinas generativas se extendieron aún más con la introducción de una red adversaria asociativa que llevó al modelo de redes adversarias generativas (GANs) de Goodfellow en 2014. Las estimaciones en el proceso GANs involucran dos perceptrones multicapa, llamados el modelo generativo y el modelo discriminativo. Estos se aprenden conjuntamente alternando el entrenamiento de los dos modelos, utilizando principios de teoría de juegos. Sin embargo, GAN tiene muchas dificultades, incluyendo: la dificultad de entrenar los modelos; la criticidad en la selección de hiperparámetros; la dificultad en el control de las muestras generadas; el equilibrio en la convergencia del discriminador y el generador; y el problema del colapso modal. Desde su inicio, se han realizado esfuerzos para abordar estos problemas uno por uno o en múltiples etapas por muchos investigadores. Sin embargo, la mayoría de estos problemas se han manejado eficientemente en el modelo de redes adversarias generativas de equilibrio de frontera (BEGAN) presentado por Berthelot et al. en 2017. En este trabajo presentamos el advenimiento de las redes adversarias, comenzando con la historia detrás de los modelos y los desarrollos realizados en GANs hasta que se introdujo el modelo BEGAN. Dado que ha pasado algún tiempo desde la propuesta de BEGAN, proporcionamos un estudio actualizado, así como futuras direcciones para varios aspectos del aprendizaje adversarial.