Transferencia de estilo de fuente artística deformable profunda
Autores: Zhu, Xuanying; Lin, Mugang; Wen, Kunhui; Zhao, Huihuang; Sun, Xianfang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Transferencia de estilo de fuente artística deformable profunda
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Red de transferencia de estilo de fuente
Redes generativas adversarias
Redes neuronales convolucionales
Estructura de glifos
Transferencia de estilo de fuente artística
Red de transferencia de estilo deformable profundo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
La esencia de la transferencia de estilo de fuente es trasladar las características de estilo de una imagen a una fuente manteniendo la estructura de glifos de la fuente. En la actualidad, las redes generativas adversarias basadas en redes neuronales convolucionales juegan un papel importante en la generación de estilos de fuente. Sin embargo, las redes neuronales convolucionales tradicionales que reconocen imágenes de fuentes sufren de poca adaptabilidad a cambios de imagen desconocidos, débiles capacidades de generalización y malas extracciones de características de textura. Cuando la estructura de glifos es muy compleja, las imágenes de fuentes estilizadas no pueden ser reconocidas de manera efectiva. En este documento, se propone una red de transferencia de estilo deformable profunda para la transferencia de estilo de fuente artística, que puede ajustar el grado de deformación de la fuente de acuerdo con el estilo y realizar la transferencia de estilo artístico multinivel de texto. El nuevo modelo consta de un módulo de boceto para aprender el mapeo de glifos, un módulo de glifo para aprender características de estilo y un módulo de transferencia para una fusión de texturas de estilo. En el módulo de glifo, se diseña el codificador Deform-Resblock para extraer características de glifos, en el que se introduce una convolución deformable y se cambia el tamaño del módulo residual para lograr una fusión de información de características en diferentes escalas, preservar mejor la estructura de la fuente y mejorar la controlabilidad de la deformación del texto. Por lo tanto, nuestra red tiene un mayor control sobre el texto, procesa mejor la información de características de la imagen y puede producir fuentes artísticas más exquisitas.
Descripción
La esencia de la transferencia de estilo de fuente es trasladar las características de estilo de una imagen a una fuente manteniendo la estructura de glifos de la fuente. En la actualidad, las redes generativas adversarias basadas en redes neuronales convolucionales juegan un papel importante en la generación de estilos de fuente. Sin embargo, las redes neuronales convolucionales tradicionales que reconocen imágenes de fuentes sufren de poca adaptabilidad a cambios de imagen desconocidos, débiles capacidades de generalización y malas extracciones de características de textura. Cuando la estructura de glifos es muy compleja, las imágenes de fuentes estilizadas no pueden ser reconocidas de manera efectiva. En este documento, se propone una red de transferencia de estilo deformable profunda para la transferencia de estilo de fuente artística, que puede ajustar el grado de deformación de la fuente de acuerdo con el estilo y realizar la transferencia de estilo artístico multinivel de texto. El nuevo modelo consta de un módulo de boceto para aprender el mapeo de glifos, un módulo de glifo para aprender características de estilo y un módulo de transferencia para una fusión de texturas de estilo. En el módulo de glifo, se diseña el codificador Deform-Resblock para extraer características de glifos, en el que se introduce una convolución deformable y se cambia el tamaño del módulo residual para lograr una fusión de información de características en diferentes escalas, preservar mejor la estructura de la fuente y mejorar la controlabilidad de la deformación del texto. Por lo tanto, nuestra red tiene un mayor control sobre el texto, procesa mejor la información de características de la imagen y puede producir fuentes artísticas más exquisitas.