Un giro de cara basado en GAN para retratos artísticos
Autores: Kim, Handong; Kim, Junho; Yang, Heekyung
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un giro de cara basado en GAN para retratos artísticos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Modelo basado en GAN
Retratos artísticos
Conjunto de datos
Funciones de pérdida
Rotación facial
Esquemas de evaluación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
Presentamos un modelo basado en GAN que rota los rostros en retratos artísticos a diferentes ángulos. Construimos un conjunto de datos de retratos artísticos para entrenar nuestro modelo basado en GAN aplicando un modelo de rostro 3D a los retratos artísticos. También ideamos funciones de pérdida adecuadas para preservar los estilos en los retratos artísticos y para rotar los rostros en los retratos a ángulos adecuados. Estos enfoques nos permiten construir un modelo de rotación de rostros basado en GAN. Aplicamos este modelo a varios retratos artísticos, incluidos retratos realistas de pintura al óleo, retratos de acuarela, obras de arte de retratos conocidos y retratos de billetes, y producimos rostros rotados convincentes en los retratos artísticos. Finalmente, demostramos que nuestro modelo puede producir resultados mejorados en comparación con los modelos existentes mediante la evaluación de la similitud y los ángulos de los rostros rotados a través de esquemas de evaluación que incluyen la estimación de FID, la estimación de la proporción de reconocimiento, la estimación de la pose y el estudio de usuarios.
Descripción
Presentamos un modelo basado en GAN que rota los rostros en retratos artísticos a diferentes ángulos. Construimos un conjunto de datos de retratos artísticos para entrenar nuestro modelo basado en GAN aplicando un modelo de rostro 3D a los retratos artísticos. También ideamos funciones de pérdida adecuadas para preservar los estilos en los retratos artísticos y para rotar los rostros en los retratos a ángulos adecuados. Estos enfoques nos permiten construir un modelo de rotación de rostros basado en GAN. Aplicamos este modelo a varios retratos artísticos, incluidos retratos realistas de pintura al óleo, retratos de acuarela, obras de arte de retratos conocidos y retratos de billetes, y producimos rostros rotados convincentes en los retratos artísticos. Finalmente, demostramos que nuestro modelo puede producir resultados mejorados en comparación con los modelos existentes mediante la evaluación de la similitud y los ángulos de los rostros rotados a través de esquemas de evaluación que incluyen la estimación de FID, la estimación de la proporción de reconocimiento, la estimación de la pose y el estudio de usuarios.