logo móvil
Contáctanos

Artic Gan: un GAN condicionado por texto e imagen recursivo

Autores: Alati, Edoardo; Caracciolo, Carlo Alberto; Costa, Marco; Sanzari, Marta; Russo, Paolo; Amerini, Irene

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Artic Gan: un GAN condicionado por texto e imagen recursivo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Redes generativas adversarias
Generación de imágenes
Condicionamiento de texto
Restricciones
Multi-condicional
ARTIC GAN

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
Las Redes Generativas Adversarias han demostrado recientemente la capacidad de sintetizar imágenes del mundo real fotorrealistas. Sin embargo, todavía luchan por ofrecer una alta controlabilidad de la imagen de salida, incluso si se proporcionan varias restricciones como entrada. En este trabajo, presentamos una Red Generativa Adversaria Condicionada por Texto-Imagen Recursiva (aRTIC GAN), un enfoque novedoso para la generación de imágenes multicondicionales bajo restricciones espaciales y de texto concurrentes. Emplea unos pocos dibujos simples y descripciones cortas para proporcionar un condicionamiento informativo pero amigable para los humanos. El escenario propuesto se basa en restricciones accesibles con altos grados de libertad: los bocetos son fáciles de dibujar y añaden restricciones fuertes a los objetos generados, como su orientación o características físicas principales. Por otro lado, el texto es tan común y expresivo que fácilmente impone información que de otra manera sería imposible de proporcionar con ilustraciones mínimas, como el color de los componentes de los objetos, tonos de color, etc. Nuestro aRTIC GAN es adecuado para la generación secuencial de múltiples objetos debido a su diseño compacto. De hecho, el algoritmo explota la imagen generada previamente en conjunto con el boceto y la descripción de texto, lo que resulta en un enfoque recurrente. Desarrollamos tres bloques de red para abordar los problemas fundamentales de captar los significados semánticos de las descripciones y de manejar el equilibrio entre suavizar artefactos de patrón de rejilla y preservar detalles visuales. Además, se desarrolló un discriminador de tres tareas compacto (que cubre aspectos globales, locales y de texto) para preservar una arquitectura ligera y robusta. Experimentos extensos demostraron la validez de aRTIC GAN y muestran que el uso combinado de boceto y descripción nos permite evitar el etiquetado explícito de objetos.

Otros recursos que podrían interesarte

Temas Virtualpro