Aret-iqa: un transformador incrustado en la relación de aspecto para la evaluación de la calidad de imagen
Autores: Zhu, Hancheng; Zhou, Yong; Shao, Zhiwen; Du, Wen-Liang; Zhao, Jiaqi; Yao, Rui
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Aret-iqa: un transformador incrustado en la relación de aspecto para la evaluación de la calidad de imagen
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Evaluación de calidad de imagen
IQA
Modelos basados en aprendizaje profundo
Método basado en Transformer
Relaciones de aspecto
Calidad perceptual
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
La evaluación de calidad de imagen (IQA) tiene como objetivo evaluar automáticamente la calidad perceptual de la imagen simulando el sistema visual humano, lo cual es un tema de investigación importante en el campo del procesamiento de imágenes y visión por computadora. Aunque los modelos de IQA basados en aprendizaje profundo existentes han logrado un éxito significativo, estos modelos de IQA suelen requerir imágenes de entrada con un tamaño fijo, lo que varía la calidad perceptual de las imágenes. Con este fin, este artículo propone un método de evaluación de calidad de imagen basado en Transformer incrustado en la relación de aspecto, que puede implantar las relaciones de aspecto adaptativas de las imágenes de entrada en el módulo de autoatención de múltiples cabezales del Transformer Swin. De esta manera, el modelo de IQA propuesto no solo puede aliviar la variedad de calidad perceptual causada por cambios de tamaño en las imágenes de entrada, sino también aprovechar correlaciones de contenido global para inferir la calidad perceptual de la imagen. Además, para capturar de manera integral el impacto de las características de bajo y alto nivel en la calidad de imagen, el modelo de IQA propuesto combina las características de salida de bloques de Transformer de múltiples etapas para inferir conjuntamente la calidad de imagen. Los resultados experimentales en múltiples bases de datos de IQA muestran que el método de IQA propuesto es superior a los métodos de vanguardia para evaluar la calidad técnica y estética de la imagen.
Descripción
La evaluación de calidad de imagen (IQA) tiene como objetivo evaluar automáticamente la calidad perceptual de la imagen simulando el sistema visual humano, lo cual es un tema de investigación importante en el campo del procesamiento de imágenes y visión por computadora. Aunque los modelos de IQA basados en aprendizaje profundo existentes han logrado un éxito significativo, estos modelos de IQA suelen requerir imágenes de entrada con un tamaño fijo, lo que varía la calidad perceptual de las imágenes. Con este fin, este artículo propone un método de evaluación de calidad de imagen basado en Transformer incrustado en la relación de aspecto, que puede implantar las relaciones de aspecto adaptativas de las imágenes de entrada en el módulo de autoatención de múltiples cabezales del Transformer Swin. De esta manera, el modelo de IQA propuesto no solo puede aliviar la variedad de calidad perceptual causada por cambios de tamaño en las imágenes de entrada, sino también aprovechar correlaciones de contenido global para inferir la calidad perceptual de la imagen. Además, para capturar de manera integral el impacto de las características de bajo y alto nivel en la calidad de imagen, el modelo de IQA propuesto combina las características de salida de bloques de Transformer de múltiples etapas para inferir conjuntamente la calidad de imagen. Los resultados experimentales en múltiples bases de datos de IQA muestran que el método de IQA propuesto es superior a los métodos de vanguardia para evaluar la calidad técnica y estética de la imagen.