Red neuronal de súper resolución de imagen única a través de características híbridas de múltiples escalas
Autores: Huang, Wenfeng; Liao, Xiangyun; Zhu, Lei; Wei, Mingqiang; Wang, Qiong
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Red neuronal de súper resolución de imagen única a través de características híbridas de múltiples escalas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Red de propuesta
Características multi-escala
Red neuronal convolucional
Mejora híbrida de características multi-escala
Uso de memoria
Cálculo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
En este documento, proponemos una red neuronal de superresolución de imagen única de extremo a extremo aprovechando las características híbridas de múltiples escalas de las imágenes. Diferente de la mayoría de las soluciones basadas en redes neuronales convolucionales (CNN) existentes, nuestra red propuesta depende de la observación de que las características de imagen extraídas por CNN contienen características híbridas de textura local de múltiples escalas y características estructurales globales. Al explotar de manera efectiva estas características locales-globales y de múltiples escalas, nuestra red involucra muchos menos parámetros, lo que conduce a una gran disminución en el uso de memoria y computación durante la inferencia. Nuestra red se beneficia de tres módulos clave: (1) un módulo de extracción de características eficiente y ligero (EFblock); (2) un módulo de mejora de características híbridas de múltiples escalas (HMblock); y (3) un módulo de reconstrucción-restauración (DRblock). Los experimentos en cinco benchmarks populares demuestran que nuestro enfoque de superresolución logra un mejor rendimiento con menos parámetros y menor consumo de memoria, en comparación con más de 20 SOTAs. En resumen, proponemos una nueva red neuronal de superresolución de múltiples escalas (HMSF), que es más ligera, tiene menos parámetros y requiere menos tiempo de ejecución, pero tiene un mejor rendimiento que los métodos de última generación. En comparación con los SOTAs, este método es más práctico y está mejor adaptado para funcionar en dispositivos limitados, como PCs y dispositivos móviles, sin necesidad de un servidor de alto rendimiento.
Descripción
En este documento, proponemos una red neuronal de superresolución de imagen única de extremo a extremo aprovechando las características híbridas de múltiples escalas de las imágenes. Diferente de la mayoría de las soluciones basadas en redes neuronales convolucionales (CNN) existentes, nuestra red propuesta depende de la observación de que las características de imagen extraídas por CNN contienen características híbridas de textura local de múltiples escalas y características estructurales globales. Al explotar de manera efectiva estas características locales-globales y de múltiples escalas, nuestra red involucra muchos menos parámetros, lo que conduce a una gran disminución en el uso de memoria y computación durante la inferencia. Nuestra red se beneficia de tres módulos clave: (1) un módulo de extracción de características eficiente y ligero (EFblock); (2) un módulo de mejora de características híbridas de múltiples escalas (HMblock); y (3) un módulo de reconstrucción-restauración (DRblock). Los experimentos en cinco benchmarks populares demuestran que nuestro enfoque de superresolución logra un mejor rendimiento con menos parámetros y menor consumo de memoria, en comparación con más de 20 SOTAs. En resumen, proponemos una nueva red neuronal de superresolución de múltiples escalas (HMSF), que es más ligera, tiene menos parámetros y requiere menos tiempo de ejecución, pero tiene un mejor rendimiento que los métodos de última generación. En comparación con los SOTAs, este método es más práctico y está mejor adaptado para funcionar en dispositivos limitados, como PCs y dispositivos móviles, sin necesidad de un servidor de alto rendimiento.