La Red Generativa Antagónica (GAN) ha experimentado recientemente un gran progreso en la síntesis de imágenes compuestas. Lamentablemente, los modelos propuestos en la literatura suelen requerir un conjunto de generadores locales predefinidos y utilizan un generador separado para modelar cada parte del objeto. Esto hace que el modelo sea inflexible y también limita su escalabilidad. Inspirados por el sistema de memoria estructurada de los humanos, proponemos MemoryGAN para eliminar estas desventajas. MemoryGAN utiliza un solo generador como memoria compartida para contener la información heterogénea de las partes, y utiliza una red neuronal recurrente para modelar la dependencia entre las partes y proporcionar el código de consulta para la memoria. La estructura de memoria compartida y el mecanismo de consulta y retroalimentación hacen que MemoryGAN sea flexible y escalable. Nuestro experimento muestra que aunque MemoryGAN solo utiliza un solo generador para todas las partes, logra un rendimiento comparable con el estado del arte, que utiliza múltiples generadores, en cuanto a calidad de imagen sintetizada, capacidad de composición y propiedad de desentrelazado. Creemos que nuestro resultado de utilizar el generador de la GAN como modelo de memoria inspirará trabajos futuros tanto de modelos bioamigables como de modelos aumentados por memoria.