Video super-resolución basada en red generativa adversaria y mejora de bordes
Autores: Wang, Jialu; Teng, Guowei; An, Ping
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Video super-resolución basada en red generativa adversaria y mejora de bordes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales profundas
Super resolución de video
Red Generativa Adversaria
Realce de bordes
Reconstrucción de super resolución
Pérdida perceptual
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Con la ayuda de redes neuronales profundas, la superresolución de video (VSR) ha logrado un gran avance. Sin embargo, estos métodos basados en aprendizaje profundo rara vez se utilizan en situaciones específicas. Además, los conjuntos de entrenamiento pueden no ser adecuados porque muchos métodos solo asumen que, en circunstancias ideales, los conjuntos de datos de baja resolución (LR) se degradan de manera fija a partir de conjuntos de datos de alta resolución (HR). En este documento, propusimos un modelo basado en Redes Generativas Adversarias (GAN) y mejora de bordes para realizar la reconstrucción de superresolución (SR) para videos de baja resolución y desenfocados, como los de circuito cerrado de televisión (CCTV). La pérdida adversaria permite que los discriminadores sean entrenados para distinguir entre fotogramas SR y fotogramas de verdad (GT), lo cual es útil para producir resultados realistas y altamente detallados. La función de mejora de bordes utiliza el módulo de borde Laplaciano para realizar la mejora de bordes en el resultado intermedio, lo que ayuda a mejorar aún más los resultados finales. Además, agregamos la pérdida perceptual a la función de pérdida para obtener una experiencia visual más alta. Al mismo tiempo, también intentamos entrenar la red en diferentes conjuntos de datos. Un gran número de experimentos muestran que nuestro método tiene ventajas en el conjunto de datos Vid4 y otros videos de baja resolución.
Descripción
Con la ayuda de redes neuronales profundas, la superresolución de video (VSR) ha logrado un gran avance. Sin embargo, estos métodos basados en aprendizaje profundo rara vez se utilizan en situaciones específicas. Además, los conjuntos de entrenamiento pueden no ser adecuados porque muchos métodos solo asumen que, en circunstancias ideales, los conjuntos de datos de baja resolución (LR) se degradan de manera fija a partir de conjuntos de datos de alta resolución (HR). En este documento, propusimos un modelo basado en Redes Generativas Adversarias (GAN) y mejora de bordes para realizar la reconstrucción de superresolución (SR) para videos de baja resolución y desenfocados, como los de circuito cerrado de televisión (CCTV). La pérdida adversaria permite que los discriminadores sean entrenados para distinguir entre fotogramas SR y fotogramas de verdad (GT), lo cual es útil para producir resultados realistas y altamente detallados. La función de mejora de bordes utiliza el módulo de borde Laplaciano para realizar la mejora de bordes en el resultado intermedio, lo que ayuda a mejorar aún más los resultados finales. Además, agregamos la pérdida perceptual a la función de pérdida para obtener una experiencia visual más alta. Al mismo tiempo, también intentamos entrenar la red en diferentes conjuntos de datos. Un gran número de experimentos muestran que nuestro método tiene ventajas en el conjunto de datos Vid4 y otros videos de baja resolución.