Mapa de características regularizado CycleGAN para transferencia de dominio
Autores: Krstanovi, Lidija; Popovi, Branislav; Janev, Marko; Brklja, Branko
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mapa de características regularizado CycleGAN para transferencia de dominio
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
CycleGAN
Transferencia de dominio
Pérdida de consistencia de ciclo
Biyectividad
Método de regularización
Distribuciones de probabilidad de mapas de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
Las arquitecturas de transferencia de dominio CycleGAN utilizan mecanismos de pérdida de consistencia cíclica para hacer cumplir la biyectividad de un mapeo de transferencia de dominio altamente subdeterminado. En este documento, con el fin de restringir aún más el problema de mapeo y reforzar la consistencia cíclica entre dos dominios, también introducimos un nuevo método de regularización basado en la alineación de las distribuciones de probabilidad de los mapas de características. Este tipo de restricción de optimización, expresada a través de una función de pérdida adicional, permite reducir aún más el tamaño de las regiones que se mapean del dominio fuente en la misma imagen en el dominio objetivo, lo que conduce a un mapeo más cercano a la biyectividad y, por lo tanto, a un mejor rendimiento. Al seleccionar mapas de características de las capas de red con la misma profundidad en el codificador de las redes generativas adversarias directas (GAN) y el decodificador de la GAN inversa, es posible describir sus distribuciones de probabilidad -dimensionales y, a través de un término de regularización novedoso, hacer cumplir la similitud entre representaciones de la misma imagen en ambos dominios durante el ciclo de mapeo. Introducimos varias distancias fundamentales entre distribuciones gaussianas de los mapas de características correspondientes utilizados en la regularización. En los experimentos realizados en varios conjuntos de datos reales, logramos un mejor rendimiento en la tarea de transferencia de imagen no supervisada en comparación con el CycleGAN de referencia, y obtuvimos resultados mucho más cercanos al método pix2pix completamente supervisado para todos los conjuntos de datos utilizados. La medida de PSNR del método propuesto fue, en promedio, un 4,7% más cercana a los resultados del método pix2pix en comparación con el CycleGAN de referencia en todos los conjuntos de datos. Esto también se mantuvo para SSIM, donde el porcentaje descrito fue del 8,3% en promedio en todos los conjuntos de datos.
Descripción
Las arquitecturas de transferencia de dominio CycleGAN utilizan mecanismos de pérdida de consistencia cíclica para hacer cumplir la biyectividad de un mapeo de transferencia de dominio altamente subdeterminado. En este documento, con el fin de restringir aún más el problema de mapeo y reforzar la consistencia cíclica entre dos dominios, también introducimos un nuevo método de regularización basado en la alineación de las distribuciones de probabilidad de los mapas de características. Este tipo de restricción de optimización, expresada a través de una función de pérdida adicional, permite reducir aún más el tamaño de las regiones que se mapean del dominio fuente en la misma imagen en el dominio objetivo, lo que conduce a un mapeo más cercano a la biyectividad y, por lo tanto, a un mejor rendimiento. Al seleccionar mapas de características de las capas de red con la misma profundidad en el codificador de las redes generativas adversarias directas (GAN) y el decodificador de la GAN inversa, es posible describir sus distribuciones de probabilidad -dimensionales y, a través de un término de regularización novedoso, hacer cumplir la similitud entre representaciones de la misma imagen en ambos dominios durante el ciclo de mapeo. Introducimos varias distancias fundamentales entre distribuciones gaussianas de los mapas de características correspondientes utilizados en la regularización. En los experimentos realizados en varios conjuntos de datos reales, logramos un mejor rendimiento en la tarea de transferencia de imagen no supervisada en comparación con el CycleGAN de referencia, y obtuvimos resultados mucho más cercanos al método pix2pix completamente supervisado para todos los conjuntos de datos utilizados. La medida de PSNR del método propuesto fue, en promedio, un 4,7% más cercana a los resultados del método pix2pix en comparación con el CycleGAN de referencia en todos los conjuntos de datos. Esto también se mantuvo para SSIM, donde el porcentaje descrito fue del 8,3% en promedio en todos los conjuntos de datos.