Aprovechando la extracción de características e información de contexto para la iluminación de imágenes
Autores: Fang, Chenrong; Wang, Ju; Chen, Kan; Su, Ran; Lai, Chi-Fu; Sun, Qian
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprovechando la extracción de características e información de contexto para la iluminación de imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Iluminación de imágenes
Métodos basados en aprendizaje profundo
Prioridades geométricas
Reconstrucción de sombras
Detalles de textura
Red de traducción de imagen a imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 53
Citaciones: Sin citaciones
La reluminación de imágenes basada en ejemplos tiene como objetivo reluminar una imagen de entrada para seguir la configuración de iluminación de otra imagen de ejemplo objetivo. Los métodos basados en aprendizaje profundo para estas tareas se han vuelto muy populares. Sin embargo, a menudo están limitados por los supuestos geométricos o sufren de reconstrucción de sombras y falta de detalles de textura. En este documento, proponemos una red de traducción de imagen a imagen llamada para abordar este problema mediante la mejora de la extracción de características y la revelación de información de contexto para lograr una reluminación de imágenes basada en ejemplos visualmente plausible. Específicamente, la propuesta consiste en una extracción de escena, una calibración de sombras y una red de renderizado, y nuestra contribución clave radica en las dos primeras redes. Proponemos un enfoque de submuestreo y sobremuestreo para mejorar la capacidad de extracción de características y capturar escenas y detalles de textura de manera más efectiva. También introducimos un bloque de submuestreo de atención de características y una transferencia de conocimiento para utilizar el impacto de atención y la conexión de conocimiento subyacente entre la escena y la sombra. Se realizaron experimentos para evaluar la utilidad y efectividad del método propuesto.
Descripción
La reluminación de imágenes basada en ejemplos tiene como objetivo reluminar una imagen de entrada para seguir la configuración de iluminación de otra imagen de ejemplo objetivo. Los métodos basados en aprendizaje profundo para estas tareas se han vuelto muy populares. Sin embargo, a menudo están limitados por los supuestos geométricos o sufren de reconstrucción de sombras y falta de detalles de textura. En este documento, proponemos una red de traducción de imagen a imagen llamada para abordar este problema mediante la mejora de la extracción de características y la revelación de información de contexto para lograr una reluminación de imágenes basada en ejemplos visualmente plausible. Específicamente, la propuesta consiste en una extracción de escena, una calibración de sombras y una red de renderizado, y nuestra contribución clave radica en las dos primeras redes. Proponemos un enfoque de submuestreo y sobremuestreo para mejorar la capacidad de extracción de características y capturar escenas y detalles de textura de manera más efectiva. También introducimos un bloque de submuestreo de atención de características y una transferencia de conocimiento para utilizar el impacto de atención y la conexión de conocimiento subyacente entre la escena y la sombra. Se realizaron experimentos para evaluar la utilidad y efectividad del método propuesto.