Redes generativas adversarias ponderadas por características con reconocimiento de puntos de referencia faciales y distancia de color perceptual para una generación mejorada de animación facial
Autores: Lo, Shih-Lun; Cheng, Hsu-Yung; Yu, Chih-Chang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Redes generativas adversarias ponderadas por características con reconocimiento de puntos de referencia faciales y distancia de color perceptual para una generación mejorada de animación facial
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelo de transferencia de estilo de anime
Imágenes de rostros humanos
Pérdida de puntos de referencia facial
Pérdida de color perceptual
Distancia de Fréchet anime inception
Encuesta de usuario
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Proponemos un modelo de transferencia de estilo anime para generar rostros de anime a partir de imágenes de rostros humanos. Mejoramos el modelo modificando la función de normalización para obtener más información de características. Para hacer que la posición de las características faciales del rostro de anime sea similar a la del rostro humano, proponemos una pérdida de puntos de referencia faciales para calcular el error entre la imagen generada y la imagen real del rostro humano. Para evitar desviaciones de color obvias en las imágenes generadas, introdujimos una pérdida de color perceptual en la función de pérdida. Además, debido a la falta de métricas razonables para evaluar la calidad de las imágenes animadas, proponemos el uso de la distancia de inicio de anime Fréchet para calcular la distancia entre la distribución de las imágenes animadas generadas y las imágenes animadas reales en un espacio de alta dimensión, para comprender la calidad de las imágenes animadas generadas. En la encuesta de usuarios, hasta un 74.46% de los usuarios piensan que la imagen producida por el método propuesto es la mejor en comparación con otros modelos. Además, el método propuesto alcanza una puntuación de 126.05 para la distancia de inicio de anime Fréchet. Nuestro modelo tiene el mejor rendimiento tanto en los estudios de usuarios como en FAID, lo que muestra que hemos logrado un mejor rendimiento en la percepción visual humana y la distribución del modelo. Según los resultados experimentales y la retroalimentación de los usuarios, nuestro método propuesto puede generar resultados con una mejor calidad en comparación con los métodos existentes.
Descripción
Proponemos un modelo de transferencia de estilo anime para generar rostros de anime a partir de imágenes de rostros humanos. Mejoramos el modelo modificando la función de normalización para obtener más información de características. Para hacer que la posición de las características faciales del rostro de anime sea similar a la del rostro humano, proponemos una pérdida de puntos de referencia faciales para calcular el error entre la imagen generada y la imagen real del rostro humano. Para evitar desviaciones de color obvias en las imágenes generadas, introdujimos una pérdida de color perceptual en la función de pérdida. Además, debido a la falta de métricas razonables para evaluar la calidad de las imágenes animadas, proponemos el uso de la distancia de inicio de anime Fréchet para calcular la distancia entre la distribución de las imágenes animadas generadas y las imágenes animadas reales en un espacio de alta dimensión, para comprender la calidad de las imágenes animadas generadas. En la encuesta de usuarios, hasta un 74.46% de los usuarios piensan que la imagen producida por el método propuesto es la mejor en comparación con otros modelos. Además, el método propuesto alcanza una puntuación de 126.05 para la distancia de inicio de anime Fréchet. Nuestro modelo tiene el mejor rendimiento tanto en los estudios de usuarios como en FAID, lo que muestra que hemos logrado un mejor rendimiento en la percepción visual humana y la distribución del modelo. Según los resultados experimentales y la retroalimentación de los usuarios, nuestro método propuesto puede generar resultados con una mejor calidad en comparación con los métodos existentes.