LPAdaIN: modelo de Normalización de Instancia Adaptativa de Atención Progresiva de Luz para Transferencia de Estilo
Autores: Zhu, Qing; Bai, Huang; Sun, Junmei; Cheng, Chen; Li, Xiumei
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
LPAdaIN: modelo de Normalización de Instancia Adaptativa de Atención Progresiva de Luz para Transferencia de Estilo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Calidad de generación
Transferencia de estilo de imagen
Modelo LPAdaIN
Módulo de atención de bloque convolucional
Imagen estilizada
Pérdida de reconstrucción
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Para mejorar la calidad de generación de transferencia de estilo de imagen, este documento propone un modelo de normalización de instancia adaptativa progresiva ligero (LPAdaIN) que combina la capa de normalización de instancia adaptativa y el módulo de atención de bloque convolucional (CBAM). En la construcción de la estructura del modelo, primero, se construye un autoencoder ligero para reducir la pérdida de información en el proceso de codificación al disminuir el número de capas de red y aliviar la distorsión de la estructura de la imagen estilizada. En segundo lugar, cada capa se aplica progresivamente después de las tres capas relu en el codificador para obtener mapas de características estilizadas detalladas. En tercer lugar, se agrega el CBAM entre la última capa y el decodificador, asegurando que los objetos principales en la imagen estilizada sean claramente visibles. En la optimización del modelo, se diseña una pérdida de reconstrucción para mejorar la capacidad del decodificador de decodificar imágenes estilizadas con restricciones más precisas y refinar la estructura de las imágenes estilizadas. En comparación con cinco modelos clásicos de transferencia de estilo, el LPAdaIN muestra visualmente una aplicación más fina de la textura de la imagen de estilo a la imagen de contenido, para obtener una imagen estilizada en la que los objetos principales sean claramente visibles y la estructura pueda mantenerse. En términos de métricas cuantitativas, el LPAdaIN logró buenos resultados en velocidad de ejecución y similitud estructural.
Descripción
Para mejorar la calidad de generación de transferencia de estilo de imagen, este documento propone un modelo de normalización de instancia adaptativa progresiva ligero (LPAdaIN) que combina la capa de normalización de instancia adaptativa y el módulo de atención de bloque convolucional (CBAM). En la construcción de la estructura del modelo, primero, se construye un autoencoder ligero para reducir la pérdida de información en el proceso de codificación al disminuir el número de capas de red y aliviar la distorsión de la estructura de la imagen estilizada. En segundo lugar, cada capa se aplica progresivamente después de las tres capas relu en el codificador para obtener mapas de características estilizadas detalladas. En tercer lugar, se agrega el CBAM entre la última capa y el decodificador, asegurando que los objetos principales en la imagen estilizada sean claramente visibles. En la optimización del modelo, se diseña una pérdida de reconstrucción para mejorar la capacidad del decodificador de decodificar imágenes estilizadas con restricciones más precisas y refinar la estructura de las imágenes estilizadas. En comparación con cinco modelos clásicos de transferencia de estilo, el LPAdaIN muestra visualmente una aplicación más fina de la textura de la imagen de estilo a la imagen de contenido, para obtener una imagen estilizada en la que los objetos principales sean claramente visibles y la estructura pueda mantenerse. En términos de métricas cuantitativas, el LPAdaIN logró buenos resultados en velocidad de ejecución y similitud estructural.