Entrenamiento de bajo costo de modelos de difusión de imagen a imagen con aprendizaje incremental y adaptación de tarea/dominio
Autores: Antona, Hector; Otero, Beatriz; Tous, Ruben
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Entrenamiento de bajo costo de modelos de difusión de imagen a imagen con aprendizaje incremental y adaptación de tarea/dominio
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos de difusión
Traducción de imagen a imagen
Relleno
Colorización
Requisitos computacionales
Aprendizaje por transferencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
Los modelos de difusión especializados en tareas de traducción de imagen a imagen, como el rellenado y la colorización, han superado el estado del arte, sin embargo, sus requisitos computacionales son excepcionalmente exigentes. Este estudio analiza diferentes estrategias para entrenar modelos de difusión de imagen a imagen en un entorno de recursos limitados. Las estrategias estudiadas incluyen el aprendizaje incremental y el aprendizaje de transferencia de tarea/dominio. Primero, se entrena un modelo base para el rellenado de rostros humanos desde cero con una estrategia de aprendizaje incremental. El modelo resultante logra una puntuación FID casi equivalente a la de su equivalente de aprendizaje por lotes, al tiempo que reduce significativamente el tiempo de entrenamiento. En segundo lugar, el modelo base se ajusta para realizar una tarea diferente, la colorización de imágenes, y en un dominio diferente, imágenes de paisajes. Los modelos resultantes de colorización muestran un rendimiento excepcional con un número mínimo de épocas de entrenamiento. Examinamos el impacto de diferentes configuraciones y proporcionamos información sobre la capacidad de los modelos de difusión de imagen a imagen para el aprendizaje de transferencia entre tareas y dominios.
Descripción
Los modelos de difusión especializados en tareas de traducción de imagen a imagen, como el rellenado y la colorización, han superado el estado del arte, sin embargo, sus requisitos computacionales son excepcionalmente exigentes. Este estudio analiza diferentes estrategias para entrenar modelos de difusión de imagen a imagen en un entorno de recursos limitados. Las estrategias estudiadas incluyen el aprendizaje incremental y el aprendizaje de transferencia de tarea/dominio. Primero, se entrena un modelo base para el rellenado de rostros humanos desde cero con una estrategia de aprendizaje incremental. El modelo resultante logra una puntuación FID casi equivalente a la de su equivalente de aprendizaje por lotes, al tiempo que reduce significativamente el tiempo de entrenamiento. En segundo lugar, el modelo base se ajusta para realizar una tarea diferente, la colorización de imágenes, y en un dominio diferente, imágenes de paisajes. Los modelos resultantes de colorización muestran un rendimiento excepcional con un número mínimo de épocas de entrenamiento. Examinamos el impacto de diferentes configuraciones y proporcionamos información sobre la capacidad de los modelos de difusión de imagen a imagen para el aprendizaje de transferencia entre tareas y dominios.