Exemplar-based sketch colorization with cross-domain dense semantic correspondence
Autores: Cui, Jinrong; Zhong, Haowei; Liu, Hailong; Fu, Yulu
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Exemplar-based sketch colorization with cross-domain dense semantic correspondence
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Tarea
Colorización
Boceto
Basado en ejemplos
Correspondencias semánticas
Autoatención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Este documento tiene como objetivo resolver la tarea de colorear una imagen de boceto dada una imagen ejemplar ya coloreada. Los métodos convencionales de colorización basados en ejemplos tienden a transferir estilos de imágenes de referencia a imágenes en escala de grises mediante técnicas de analogía de imágenes o estableciendo correspondencias semánticas. Sin embargo, sus capacidades prácticas son limitadas cuando las correspondencias semánticas son difíciles de encontrar. Este es el caso de la coloración para bocetos (donde las correspondencias semánticas son difíciles de encontrar) ya que solo contiene información de borde del objeto y generalmente contiene mucho ruido. Para abordar esto, presentamos un marco para tareas de colorización de bocetos basadas en ejemplos que sintetiza imágenes coloreadas a partir de la entrada de boceto y la entrada de referencia en un dominio distinto. En general, propusimos conjuntamente nuestra red de alineación de dominio, donde se puede establecer la correspondencia semántica densa, con una estrategia adversarial simple pero valiosa, a la que llamamos las condiciones estructurales y coloríficas. Además, propusimos utilizar un mecanismo de autoatención para la transferencia de estilo de ejemplar a boceto. Facilita el establecimiento de una correspondencia semántica densa, a la que llamamos el módulo de transferencia semántica correspondiente espacialmente. Demostramos la efectividad de nuestro método propuesto en varias tareas de traducción relacionadas con bocetos mediante evaluación cuantitativa y cualitativa.
Descripción
Este documento tiene como objetivo resolver la tarea de colorear una imagen de boceto dada una imagen ejemplar ya coloreada. Los métodos convencionales de colorización basados en ejemplos tienden a transferir estilos de imágenes de referencia a imágenes en escala de grises mediante técnicas de analogía de imágenes o estableciendo correspondencias semánticas. Sin embargo, sus capacidades prácticas son limitadas cuando las correspondencias semánticas son difíciles de encontrar. Este es el caso de la coloración para bocetos (donde las correspondencias semánticas son difíciles de encontrar) ya que solo contiene información de borde del objeto y generalmente contiene mucho ruido. Para abordar esto, presentamos un marco para tareas de colorización de bocetos basadas en ejemplos que sintetiza imágenes coloreadas a partir de la entrada de boceto y la entrada de referencia en un dominio distinto. En general, propusimos conjuntamente nuestra red de alineación de dominio, donde se puede establecer la correspondencia semántica densa, con una estrategia adversarial simple pero valiosa, a la que llamamos las condiciones estructurales y coloríficas. Además, propusimos utilizar un mecanismo de autoatención para la transferencia de estilo de ejemplar a boceto. Facilita el establecimiento de una correspondencia semántica densa, a la que llamamos el módulo de transferencia semántica correspondiente espacialmente. Demostramos la efectividad de nuestro método propuesto en varias tareas de traducción relacionadas con bocetos mediante evaluación cuantitativa y cualitativa.