Redes de propagación temporal recurrente bidireccional para superresolución de video
Autores: Han, Lei; Fan, Cien; Yang, Ye; Zou, Lian
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Redes de propagación temporal recurrente bidireccional para superresolución de video
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales convolucionales
Super-resolución de video
Unidad de propagación temporal-recurrente bidireccional
Mecanismos de atención de canal
Método de muestreo progresivo
Resultados experimentales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Recientemente, las redes neuronales convolucionales han tenido un rendimiento notable para la superresolución de video. Sin embargo, sigue siendo un desafío cómo explotar de manera eficiente y efectiva la información espacial y temporal del video. En este trabajo, diseñamos una unidad de propagación temporal-recurrente bidireccional. La unidad de propagación temporal-recurrente bidireccional permite fluir la información temporal de manera similar a una RNN de un fotograma a otro, lo que evita la modelización y compensación de movimiento complejas. Para fusionar mejor la información de las dos unidades de propagación temporal-recurrente, utilizamos mecanismos de atención de canal. Además, recomendamos un método progresivo de aumento de muestreo en lugar de un aumento de muestreo de un solo paso. Observamos que el aumento de muestreo progresivo obtiene mejores resultados experimentales que el aumento de muestreo de una sola etapa. Experimentos extensos muestran que nuestro algoritmo supera a varios métodos recientes de vanguardia en superresolución de video (VSR) con un tamaño de modelo más pequeño.
Descripción
Recientemente, las redes neuronales convolucionales han tenido un rendimiento notable para la superresolución de video. Sin embargo, sigue siendo un desafío cómo explotar de manera eficiente y efectiva la información espacial y temporal del video. En este trabajo, diseñamos una unidad de propagación temporal-recurrente bidireccional. La unidad de propagación temporal-recurrente bidireccional permite fluir la información temporal de manera similar a una RNN de un fotograma a otro, lo que evita la modelización y compensación de movimiento complejas. Para fusionar mejor la información de las dos unidades de propagación temporal-recurrente, utilizamos mecanismos de atención de canal. Además, recomendamos un método progresivo de aumento de muestreo en lugar de un aumento de muestreo de un solo paso. Observamos que el aumento de muestreo progresivo obtiene mejores resultados experimentales que el aumento de muestreo de una sola etapa. Experimentos extensos muestran que nuestro algoritmo supera a varios métodos recientes de vanguardia en superresolución de video (VSR) con un tamaño de modelo más pequeño.