Interpolación de cuadros de video basada en avance de guerra utilizando una red selectiva de movimiento
Autores: Heo, Jeonghwan; Jeong, Jechang
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Interpolación de cuadros de video basada en avance de guerra utilizando una red selectiva de movimiento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales
Procesamiento de imágenes
Interpolación de fotogramas de video
Flujo óptico
Complejidad computacional
Aprendizaje auto-supervisado
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Recientemente, las redes neuronales profundas han mostrado resultados sorprendentes en la resolución de la mayoría de los problemas tradicionales de procesamiento de imágenes. Sin embargo, el campo de interpolación de fotogramas de video no muestra un rendimiento relativamente bueno porque el campo receptivo requiere un amplio rango espacio-temporal. Para reducir la complejidad computacional, en la mayoría de los estudios de interpolación de fotogramas, primero se calcula el movimiento con el flujo óptico, luego se generan fotogramas interpolados a través de la deformación hacia atrás. Sin embargo, aunque el proceso de deformación hacia atrás es simple de implementar, la imagen interpolada contiene defectos de movimiento mixto y ghosting. Por lo tanto, proponemos una nueva red que no utiliza el método de deformación hacia atrás a través de la deformación de máximo-mínimo propuesta. Dado que la deformación de máximo-mínimo genera una imagen de deformación clara de antemano según el tamaño del movimiento y la red está configurada para seleccionar el resultado de deformación según la capa deformada, utilizando el método propuesto, es posible optimizar la complejidad computacional al seleccionar una imagen contextualmente apropiada. El método de interpolación de video usando el método propuesto mostró 34.847 PSNR en el conjunto de datos Vimeo90k y una mejora de 0.13 PSNR en comparación con el método de interpolación de video cuadrático, lo que demuestra que es un eficiente aprendizaje auto-supervisado de interpolación de fotogramas.
Descripción
Recientemente, las redes neuronales profundas han mostrado resultados sorprendentes en la resolución de la mayoría de los problemas tradicionales de procesamiento de imágenes. Sin embargo, el campo de interpolación de fotogramas de video no muestra un rendimiento relativamente bueno porque el campo receptivo requiere un amplio rango espacio-temporal. Para reducir la complejidad computacional, en la mayoría de los estudios de interpolación de fotogramas, primero se calcula el movimiento con el flujo óptico, luego se generan fotogramas interpolados a través de la deformación hacia atrás. Sin embargo, aunque el proceso de deformación hacia atrás es simple de implementar, la imagen interpolada contiene defectos de movimiento mixto y ghosting. Por lo tanto, proponemos una nueva red que no utiliza el método de deformación hacia atrás a través de la deformación de máximo-mínimo propuesta. Dado que la deformación de máximo-mínimo genera una imagen de deformación clara de antemano según el tamaño del movimiento y la red está configurada para seleccionar el resultado de deformación según la capa deformada, utilizando el método propuesto, es posible optimizar la complejidad computacional al seleccionar una imagen contextualmente apropiada. El método de interpolación de video usando el método propuesto mostró 34.847 PSNR en el conjunto de datos Vimeo90k y una mejora de 0.13 PSNR en comparación con el método de interpolación de video cuadrático, lo que demuestra que es un eficiente aprendizaje auto-supervisado de interpolación de fotogramas.