Un generador adversarial generativo basado en atención para producir bocetos ilustrativos
Autores: Yeom, Jihyeon; Yang, Heekyung; Min, Kyungha
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Un generador adversarial generativo basado en atención para producir bocetos ilustrativos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Marco
Estilos de bocetos ilustrativos
Mapa de atención
Red generativa adversaria
Formas importantes
Regiones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Un estilo de boceto ilustrativo expresa formas y regiones importantes de objetos y escenas con líneas destacadas y tonos oscuros, mientras abstrae formas y regiones menos importantes como espacios vacíos. Presentamos un marco que produce estilos de bocetos ilustrativos a partir de diversas fotografías. Nuestro marco está diseñado utilizando una red generativa adversaria (GAN), que comprende cuatro módulos: un módulo de extracción de estilo, un módulo generador, un módulo discriminador y un módulo RCCL. Diseñamos dos ideas clave para extraer de manera efectiva estilos de bocetos ilustrativos de obras de arte de muestra y aplicarlos a fotografías de entrada. La primera idea consiste en utilizar un mapa de atención que extrae las características de estilo requeridas de formas y regiones importantes de los estilos de bocetos ilustrativos de muestra. Este mapa de atención se utiliza en el módulo generador de nuestro marco para la producción efectiva de estilos de bocetos ilustrativos. La segunda idea es utilizar una pérdida de consistencia de ciclo relajada que evalúa la calidad de los estilos de bocetos ilustrativos producidos al comparar imágenes que se reconstruyen a partir de los estilos de bocetos ilustrativos producidos y las fotografías de entrada. Esta pérdida de consistencia de ciclo relajada se enfoca en la comparación de formas y regiones importantes para una evaluación efectiva de la calidad de los estilos de bocetos ilustrativos producidos. Nuestro marco basado en GAN con un mapa de atención y una pérdida de consistencia de ciclo relajada produce de manera efectiva estilos de bocetos ilustrativos en diversas fotografías de destino, incluyendo retratos, paisajes y bodegones. Demostramos la efectividad de nuestro marco a través de un estudio humano, un estudio de ablación y una evaluación de Distancia de Inception de Frechet.
Descripción
Un estilo de boceto ilustrativo expresa formas y regiones importantes de objetos y escenas con líneas destacadas y tonos oscuros, mientras abstrae formas y regiones menos importantes como espacios vacíos. Presentamos un marco que produce estilos de bocetos ilustrativos a partir de diversas fotografías. Nuestro marco está diseñado utilizando una red generativa adversaria (GAN), que comprende cuatro módulos: un módulo de extracción de estilo, un módulo generador, un módulo discriminador y un módulo RCCL. Diseñamos dos ideas clave para extraer de manera efectiva estilos de bocetos ilustrativos de obras de arte de muestra y aplicarlos a fotografías de entrada. La primera idea consiste en utilizar un mapa de atención que extrae las características de estilo requeridas de formas y regiones importantes de los estilos de bocetos ilustrativos de muestra. Este mapa de atención se utiliza en el módulo generador de nuestro marco para la producción efectiva de estilos de bocetos ilustrativos. La segunda idea es utilizar una pérdida de consistencia de ciclo relajada que evalúa la calidad de los estilos de bocetos ilustrativos producidos al comparar imágenes que se reconstruyen a partir de los estilos de bocetos ilustrativos producidos y las fotografías de entrada. Esta pérdida de consistencia de ciclo relajada se enfoca en la comparación de formas y regiones importantes para una evaluación efectiva de la calidad de los estilos de bocetos ilustrativos producidos. Nuestro marco basado en GAN con un mapa de atención y una pérdida de consistencia de ciclo relajada produce de manera efectiva estilos de bocetos ilustrativos en diversas fotografías de destino, incluyendo retratos, paisajes y bodegones. Demostramos la efectividad de nuestro marco a través de un estudio humano, un estudio de ablación y una evaluación de Distancia de Inception de Frechet.