logo móvil
Contáctanos

Transferencia de estilo de imagen basada en la alineación dinámica de convolución de halo atención

Autores: Li, Ke; Yang, Degang; Ma, Yan

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Transferencia de estilo de imagen basada en la alineación dinámica de convolución de halo atención


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Transferencia de estilo de imagen
Aprendizaje profundo
Transferencia de estilo arbitrario
Atención de halo
Alineación dinámica de manifolds convolucionales
Codificador VGG

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 25

Citaciones: Sin citaciones


Descripción
El objetivo de la transferencia de estilo de imagen es renderizar una imagen con características artísticas de una referencia de estilo mientras se preservan los detalles de la imagen de contenido. Con el desarrollo del aprendizaje profundo, han surgido muchos métodos de transferencia de estilo arbitrarios. De los algoritmos recientes de transferencia de estilo arbitrarios, se ha encontrado que las imágenes generadas sufren del problema de una calidad pobremente estilizada. Para resolver este problema, proponemos un algoritmo de transferencia de estilo arbitrario basado en la alineación de la variedad convolucional dinámica con atención de halo. Primero, las características de la imagen de contenido y de estilo son extraídas por un codificador VGG pre-entrenado. Luego, las características son extraídas por atención de halo y convolución dinámica, y luego los espacios de características de contenido y estilo se alinean mediante operaciones de atención e interpolación de percepción espacial. La salida se logra a través de convolución dinámica y atención de halo. Durante este proceso, se utilizan funciones de pérdida de múltiples niveles, y se introduce la pérdida de variación total para eliminar el ruido. El proceso de alineación de la variedad se repite tres veces. Finalmente, se utiliza el decodificador VGG pre-entrenado para generar la imagen estilizada. Los resultados experimentales muestran que nuestro método propuesto puede generar imágenes estilizadas de alta calidad, logrando valores de 33.861, 2.516 y 3.602 para ArtFID, pérdida de estilo y pérdida de contenido, respectivamente. Una comparación cualitativa con algoritmos existentes mostró que se obtuvieron buenos resultados. En trabajos futuros, nuestro objetivo será hacer que el modelo sea más ligero.

Otros recursos que podrían interesarte

Temas Virtualpro