Aprendizaje Ciego Zero-Shot para Super-Resolución de Imágenes Únicas
Autores: Yamawaki, Kazuhiro; Han, Xian-Hua
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprendizaje Ciego Zero-Shot para Super-Resolución de Imágenes Únicas
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje profundo
Superresolución
Redes neuronales convolucionales
Imágenes de baja resolución
Imágenes de alta resolución
Operaciones de degradación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Las redes neuronales convolucionales profundas (DCNNs) han demostrado ganancias significativas en el rendimiento para la superresolución de imágenes individuales (SISR) en los últimos años. La mayoría de los métodos existentes se implementan generalmente de manera completamente supervisada utilizando muestras de entrenamiento a gran escala y solo aprenden los modelos de SR restringidos a datos específicos. Por lo tanto, la adaptación de estos modelos a imágenes de baja resolución (LR) reales capturadas en condiciones de imagen no controladas suele llevar a resultados de SR deficientes. Este estudio propone un marco de SR ciego de cero disparos aprovechando el poder del aprendizaje profundo, pero sin la necesidad de un entrenamiento previo utilizando muestras de imágenes predefinidas. Es bien sabido que hay dos datos desconocidos: las imágenes de alta resolución (HR) objetivo subyacentes y las operaciones de degradación en el procedimiento de imagen ocultas en las imágenes LR observadas. Teniendo esto en cuenta, empleamos específicamente dos redes profundas para modelar respectivamente los priors de la imagen HR objetivo y su correspondiente núcleo de degradación, y diseñamos un bloque de degradación para realizar el procedimiento de observación de la imagen LR. Al formular la función de pérdida como el error de aproximación de la imagen LR observada, establecimos un marco de aprendizaje de cero disparos completamente ciego de extremo a extremo para predecir simultáneamente la imagen HR objetivo y el núcleo de degradación sin ningún dato externo. En particular, adoptamos una subred de codificador-decodificador de múltiples escalas para servir como la red de aprendizaje de priors de imagen, una subred completamente conectada simple para servir como la red de aprendizaje de priors de núcleo, y un bloque de convolución específica por profundidad para implementar el procedimiento de degradación. Realizamos extensos experimentos en varios conjuntos de datos de referencia y demostramos la gran superioridad y alta generalización de nuestro método sobre los métodos de SR supervisados y no supervisados de SOTA.
Descripción
Las redes neuronales convolucionales profundas (DCNNs) han demostrado ganancias significativas en el rendimiento para la superresolución de imágenes individuales (SISR) en los últimos años. La mayoría de los métodos existentes se implementan generalmente de manera completamente supervisada utilizando muestras de entrenamiento a gran escala y solo aprenden los modelos de SR restringidos a datos específicos. Por lo tanto, la adaptación de estos modelos a imágenes de baja resolución (LR) reales capturadas en condiciones de imagen no controladas suele llevar a resultados de SR deficientes. Este estudio propone un marco de SR ciego de cero disparos aprovechando el poder del aprendizaje profundo, pero sin la necesidad de un entrenamiento previo utilizando muestras de imágenes predefinidas. Es bien sabido que hay dos datos desconocidos: las imágenes de alta resolución (HR) objetivo subyacentes y las operaciones de degradación en el procedimiento de imagen ocultas en las imágenes LR observadas. Teniendo esto en cuenta, empleamos específicamente dos redes profundas para modelar respectivamente los priors de la imagen HR objetivo y su correspondiente núcleo de degradación, y diseñamos un bloque de degradación para realizar el procedimiento de observación de la imagen LR. Al formular la función de pérdida como el error de aproximación de la imagen LR observada, establecimos un marco de aprendizaje de cero disparos completamente ciego de extremo a extremo para predecir simultáneamente la imagen HR objetivo y el núcleo de degradación sin ningún dato externo. En particular, adoptamos una subred de codificador-decodificador de múltiples escalas para servir como la red de aprendizaje de priors de imagen, una subred completamente conectada simple para servir como la red de aprendizaje de priors de núcleo, y un bloque de convolución específica por profundidad para implementar el procedimiento de degradación. Realizamos extensos experimentos en varios conjuntos de datos de referencia y demostramos la gran superioridad y alta generalización de nuestro método sobre los métodos de SR supervisados y no supervisados de SOTA.