Red de Atención Multi-Característica Adaptativa para la Desempañamiento de Imágenes
Autores: Jing, Hongyuan; Chen, Jiaxing; Zhang, Chenyang; Wei, Shuang; Chen, Aidong; Zhang, Mengmeng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Red de Atención Multi-Característica Adaptativa para la Desempañamiento de Imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje profundo
Desempañado de imágenes
Extracción de características
Red de atención
Fusión de características
Pérdida contrastiva
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Actualmente, los métodos de desempañado de imágenes basados en aprendizaje profundo ocupan una posición dominante en las aplicaciones de desempañado de imágenes. Aunque muchos modelos complicados de desempañado han logrado un rendimiento competitivo, los métodos efectivos para extraer características útiles aún están poco investigados. Por lo tanto, en este documento se presenta una red de atención multi-característica adaptativa (AMFAN) que consta del mecanismo de atención ponderada por puntos (PWA) y la fusión de características de múltiples capas (AMLFF). Comenzamos mejorando la atención a nivel de píxel para cada mapa de características. Específicamente, diseñamos un bloque PWA, que agrega información global y local del mapa de características. También empleamos PWA para hacer que el modelo se enfoque de manera adaptativa en canales/regiones significativos. Luego, diseñamos un bloque de fusión de características (FFB), que puede lograr la fusión a nivel de características mediante la explotación de un bloque PWA. El FFB y PWA constituyen nuestro AMLFF. Diseñamos un AMLFF, que puede integrar tres niveles diferentes de mapas de características para equilibrar efectivamente los pesos de las entradas al codificador y decodificador. También utilizamos la función de pérdida contrastiva para entrenar la red de desempañado de manera que la imagen recuperada esté lejos de la muestra negativa y cerca de la muestra positiva. Los resultados experimentales tanto en imágenes sintéticas como en imágenes del mundo real demuestran que este enfoque de desempañado supera a numerosas técnicas avanzadas, tanto visual como cuantitativamente, mostrando su superioridad en el desempañado de imágenes.
Descripción
Actualmente, los métodos de desempañado de imágenes basados en aprendizaje profundo ocupan una posición dominante en las aplicaciones de desempañado de imágenes. Aunque muchos modelos complicados de desempañado han logrado un rendimiento competitivo, los métodos efectivos para extraer características útiles aún están poco investigados. Por lo tanto, en este documento se presenta una red de atención multi-característica adaptativa (AMFAN) que consta del mecanismo de atención ponderada por puntos (PWA) y la fusión de características de múltiples capas (AMLFF). Comenzamos mejorando la atención a nivel de píxel para cada mapa de características. Específicamente, diseñamos un bloque PWA, que agrega información global y local del mapa de características. También empleamos PWA para hacer que el modelo se enfoque de manera adaptativa en canales/regiones significativos. Luego, diseñamos un bloque de fusión de características (FFB), que puede lograr la fusión a nivel de características mediante la explotación de un bloque PWA. El FFB y PWA constituyen nuestro AMLFF. Diseñamos un AMLFF, que puede integrar tres niveles diferentes de mapas de características para equilibrar efectivamente los pesos de las entradas al codificador y decodificador. También utilizamos la función de pérdida contrastiva para entrenar la red de desempañado de manera que la imagen recuperada esté lejos de la muestra negativa y cerca de la muestra positiva. Los resultados experimentales tanto en imágenes sintéticas como en imágenes del mundo real demuestran que este enfoque de desempañado supera a numerosas técnicas avanzadas, tanto visual como cuantitativamente, mostrando su superioridad en el desempañado de imágenes.