ACMamba: un enfoque basado en modelos de espacio estatal para la restauración de imágenes degradadas por múltiples condiciones climáticas
Autores: Wang, Wei; Zhao, Pei; Lei, Weimin; Ju, Yingjie
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
ACMamba: un enfoque basado en modelos de espacio estatal para la restauración de imágenes degradadas por múltiples condiciones climáticas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Visión por computadora
Condiciones climáticas adversas
Restauración de imágenes
Múltiples condiciones climáticas
ACMamba
Modelos selectivos de espacio de estados
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
En visión por computadora, eliminar los efectos de las condiciones climáticas adversas como la lluvia, la nieve y la niebla en las imágenes es un desafío clave de investigación. Los estudios existentes se centran principalmente en la restauración de imágenes para tipos de clima individuales, mientras que los métodos que abordan la restauración de imágenes bajo múltiples condiciones climáticas combinadas siguen siendo relativamente escasos. Además, las redes de restauración de corriente principal actuales, principalmente basadas en arquitecturas Transformer y CNN, tienen dificultades para lograr un equilibrio efectivo entre el campo receptivo global y la eficiencia computacional, lo que limita su rendimiento en aplicaciones prácticas. Este estudio propone ACMamba, una red ligera de extremo a extremo basada en modelos selectivos de espacio de estado, con el objetivo de lograr la restauración de imágenes bajo múltiples condiciones climáticas utilizando un conjunto unificado de parámetros. Específicamente, diseñamos un nuevo Módulo de Espacio de Estado Visual (VSSM) y una Red Feed-Forward Consciente del Espacio (SAFN), que combinan de forma orgánica las capacidades de extracción de características locales de las convoluciones con las capacidades de modelado de dependencias a largo plazo de los modelos selectivos de espacio de estado (SSMs). Esta combinación mejora significativamente la eficiencia computacional manteniendo un campo receptivo global, lo que permite la aplicación efectiva de la arquitectura Mamba en tareas de restauración de imágenes multi-clima. Experimentos exhaustivos demuestran que nuestro enfoque propuesto supera significativamente a los métodos existentes tanto para tareas específicas como para múltiples condiciones climáticas en múltiples conjuntos de datos de referencia, mostrando su eficiente potencial de modelado a largo plazo en tareas de restauración de imágenes multi-clima.
Descripción
En visión por computadora, eliminar los efectos de las condiciones climáticas adversas como la lluvia, la nieve y la niebla en las imágenes es un desafío clave de investigación. Los estudios existentes se centran principalmente en la restauración de imágenes para tipos de clima individuales, mientras que los métodos que abordan la restauración de imágenes bajo múltiples condiciones climáticas combinadas siguen siendo relativamente escasos. Además, las redes de restauración de corriente principal actuales, principalmente basadas en arquitecturas Transformer y CNN, tienen dificultades para lograr un equilibrio efectivo entre el campo receptivo global y la eficiencia computacional, lo que limita su rendimiento en aplicaciones prácticas. Este estudio propone ACMamba, una red ligera de extremo a extremo basada en modelos selectivos de espacio de estado, con el objetivo de lograr la restauración de imágenes bajo múltiples condiciones climáticas utilizando un conjunto unificado de parámetros. Específicamente, diseñamos un nuevo Módulo de Espacio de Estado Visual (VSSM) y una Red Feed-Forward Consciente del Espacio (SAFN), que combinan de forma orgánica las capacidades de extracción de características locales de las convoluciones con las capacidades de modelado de dependencias a largo plazo de los modelos selectivos de espacio de estado (SSMs). Esta combinación mejora significativamente la eficiencia computacional manteniendo un campo receptivo global, lo que permite la aplicación efectiva de la arquitectura Mamba en tareas de restauración de imágenes multi-clima. Experimentos exhaustivos demuestran que nuestro enfoque propuesto supera significativamente a los métodos existentes tanto para tareas específicas como para múltiples condiciones climáticas en múltiples conjuntos de datos de referencia, mostrando su eficiente potencial de modelado a largo plazo en tareas de restauración de imágenes multi-clima.