Una red de mejora visual con fusión de características para evaluación estética de imágenes
Autores: Zhang, Xin; Jiang, Xinyu; Song, Qing; Zhang, Pengzhou
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Una red de mejora visual con fusión de características para evaluación estética de imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Evaluación estética de imágenes
Atención neural
Redes neuronales convolucionales
Red de mejora visual
Fusión de características
Fusión de características superficiales y profundas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
La evaluación estética de imágenes (IAA) con atención neural ha avanzado significativamente debido a su efectividad en el reconocimiento de objetos. Los estudios actuales han demostrado que las características aprendidas por las redes neuronales convolucionales (CNN) en diferentes etapas de aprendizaje indican información significativa. La característica superficial contiene la información de bajo nivel de las imágenes, y la característica profunda percibe la semántica y los temas de la imagen. Inspirados en esto, proponemos una red de mejora visual con fusión de características (FF-VEN). Consiste en dos submódulos, el módulo de mejora visual (módulo VE) y el módulo de fusión de características superficiales y profundas (módulo SDFF). El primero utiliza un filtro adaptativo en el dominio espacial para simular los ojos humanos según la región de interés (ROI) extraída por la retroalimentación neural. El segundo no solo extrae la característica superficial y la característica profunda a través de una conexión transversal, sino que también utiliza una unidad de fusión de características (FFU) para fusionar las características agrupadas con el objetivo de maximizar la contribución de la información. Los experimentos en el conjunto de datos estándar AVA y el conjunto de datos Photo.net muestran la efectividad de FF-VEN.
Descripción
La evaluación estética de imágenes (IAA) con atención neural ha avanzado significativamente debido a su efectividad en el reconocimiento de objetos. Los estudios actuales han demostrado que las características aprendidas por las redes neuronales convolucionales (CNN) en diferentes etapas de aprendizaje indican información significativa. La característica superficial contiene la información de bajo nivel de las imágenes, y la característica profunda percibe la semántica y los temas de la imagen. Inspirados en esto, proponemos una red de mejora visual con fusión de características (FF-VEN). Consiste en dos submódulos, el módulo de mejora visual (módulo VE) y el módulo de fusión de características superficiales y profundas (módulo SDFF). El primero utiliza un filtro adaptativo en el dominio espacial para simular los ojos humanos según la región de interés (ROI) extraída por la retroalimentación neural. El segundo no solo extrae la característica superficial y la característica profunda a través de una conexión transversal, sino que también utiliza una unidad de fusión de características (FFU) para fusionar las características agrupadas con el objetivo de maximizar la contribución de la información. Los experimentos en el conjunto de datos estándar AVA y el conjunto de datos Photo.net muestran la efectividad de FF-VEN.