Transferencia de estilo de imagen basada en la alineación dinámica de convolución de halo atención
Autores: Li, Ke; Yang, Degang; Ma, Yan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Transferencia de estilo de imagen basada en la alineación dinámica de convolución de halo atención
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Transferencia de estilo de imagen
Aprendizaje profundo
Transferencia de estilo arbitrario
Atención de halo
Alineación dinámica de manifolds convolucionales
Codificador VGG
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
El objetivo de la transferencia de estilo de imagen es renderizar una imagen con características artísticas de una referencia de estilo mientras se preservan los detalles de la imagen de contenido. Con el desarrollo del aprendizaje profundo, han surgido muchos métodos de transferencia de estilo arbitrarios. De los algoritmos recientes de transferencia de estilo arbitrarios, se ha encontrado que las imágenes generadas sufren del problema de una calidad pobremente estilizada. Para resolver este problema, proponemos un algoritmo de transferencia de estilo arbitrario basado en la alineación de la variedad convolucional dinámica con atención de halo. Primero, las características de la imagen de contenido y de estilo son extraídas por un codificador VGG pre-entrenado. Luego, las características son extraídas por atención de halo y convolución dinámica, y luego los espacios de características de contenido y estilo se alinean mediante operaciones de atención e interpolación de percepción espacial. La salida se logra a través de convolución dinámica y atención de halo. Durante este proceso, se utilizan funciones de pérdida de múltiples niveles, y se introduce la pérdida de variación total para eliminar el ruido. El proceso de alineación de la variedad se repite tres veces. Finalmente, se utiliza el decodificador VGG pre-entrenado para generar la imagen estilizada. Los resultados experimentales muestran que nuestro método propuesto puede generar imágenes estilizadas de alta calidad, logrando valores de 33.861, 2.516 y 3.602 para ArtFID, pérdida de estilo y pérdida de contenido, respectivamente. Una comparación cualitativa con algoritmos existentes mostró que se obtuvieron buenos resultados. En trabajos futuros, nuestro objetivo será hacer que el modelo sea más ligero.
Descripción
El objetivo de la transferencia de estilo de imagen es renderizar una imagen con características artísticas de una referencia de estilo mientras se preservan los detalles de la imagen de contenido. Con el desarrollo del aprendizaje profundo, han surgido muchos métodos de transferencia de estilo arbitrarios. De los algoritmos recientes de transferencia de estilo arbitrarios, se ha encontrado que las imágenes generadas sufren del problema de una calidad pobremente estilizada. Para resolver este problema, proponemos un algoritmo de transferencia de estilo arbitrario basado en la alineación de la variedad convolucional dinámica con atención de halo. Primero, las características de la imagen de contenido y de estilo son extraídas por un codificador VGG pre-entrenado. Luego, las características son extraídas por atención de halo y convolución dinámica, y luego los espacios de características de contenido y estilo se alinean mediante operaciones de atención e interpolación de percepción espacial. La salida se logra a través de convolución dinámica y atención de halo. Durante este proceso, se utilizan funciones de pérdida de múltiples niveles, y se introduce la pérdida de variación total para eliminar el ruido. El proceso de alineación de la variedad se repite tres veces. Finalmente, se utiliza el decodificador VGG pre-entrenado para generar la imagen estilizada. Los resultados experimentales muestran que nuestro método propuesto puede generar imágenes estilizadas de alta calidad, logrando valores de 33.861, 2.516 y 3.602 para ArtFID, pérdida de estilo y pérdida de contenido, respectivamente. Una comparación cualitativa con algoritmos existentes mostró que se obtuvieron buenos resultados. En trabajos futuros, nuestro objetivo será hacer que el modelo sea más ligero.