McmIQA: modelo colaborativo de múltiples módulos para evaluación de calidad de imagen sin referencia
Autores: Miao, Han; Sang, Qingbing
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
McmIQA: modelo colaborativo de múltiples módulos para evaluación de calidad de imagen sin referencia
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Evaluación de calidad de imagen
Aprendizaje profundo
Visión por computadora
Percepción de distorsión
Reconocimiento de contenido
Mapeo de correlación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
La evaluación de calidad de imagen sin referencia es una técnica que utiliza computadoras para simular el sistema visual humano y evaluar automáticamente la calidad percibida de las imágenes. En los últimos años, con el éxito generalizado del aprendizaje profundo en el campo de la visión por computadora, han surgido muchos algoritmos de evaluación de calidad de imagen de extremo a extremo basados en aprendizaje profundo. Sin embargo, a diferencia de otras tareas de visión por computadora que se centran en el contenido de la imagen, un excelente modelo de evaluación de calidad de imagen debería considerar simultáneamente las distorsiones en la imagen y evaluar de manera integral sus relaciones. Motivados por esto, proponemos un Modelo Colaborativo Multi-módulo para la Evaluación de Calidad de Imagen (McmIQA). La evaluación de calidad de imagen se divide en tres subtareas: percepción de distorsión, reconocimiento de contenido y mapeo de correlación. Y se construyen módulos específicos para cada subtarea: el módulo de percepción de distorsión, el módulo de reconocimiento de contenido y el módulo de mapeo de correlación. Específicamente, aplicamos dos marcos de aprendizaje contrastivo en dos conjuntos de datos construidos para entrenar el módulo de percepción de distorsión y el módulo de reconocimiento de contenido para extraer dos tipos de características de la imagen. Posteriormente, utilizando estas características extraídas como entrada, empleamos una pérdida de clasificación para entrenar el módulo de mapeo de correlación para predecir la calidad de imagen en conjuntos de datos de evaluación de calidad de imagen. Experimentos extensos realizados en siete conjuntos de datos relevantes demostraron que el método propuesto logra un rendimiento de vanguardia tanto en tareas de evaluación de calidad de imagen con distorsión sintética como con distorsión natural.
Descripción
La evaluación de calidad de imagen sin referencia es una técnica que utiliza computadoras para simular el sistema visual humano y evaluar automáticamente la calidad percibida de las imágenes. En los últimos años, con el éxito generalizado del aprendizaje profundo en el campo de la visión por computadora, han surgido muchos algoritmos de evaluación de calidad de imagen de extremo a extremo basados en aprendizaje profundo. Sin embargo, a diferencia de otras tareas de visión por computadora que se centran en el contenido de la imagen, un excelente modelo de evaluación de calidad de imagen debería considerar simultáneamente las distorsiones en la imagen y evaluar de manera integral sus relaciones. Motivados por esto, proponemos un Modelo Colaborativo Multi-módulo para la Evaluación de Calidad de Imagen (McmIQA). La evaluación de calidad de imagen se divide en tres subtareas: percepción de distorsión, reconocimiento de contenido y mapeo de correlación. Y se construyen módulos específicos para cada subtarea: el módulo de percepción de distorsión, el módulo de reconocimiento de contenido y el módulo de mapeo de correlación. Específicamente, aplicamos dos marcos de aprendizaje contrastivo en dos conjuntos de datos construidos para entrenar el módulo de percepción de distorsión y el módulo de reconocimiento de contenido para extraer dos tipos de características de la imagen. Posteriormente, utilizando estas características extraídas como entrada, empleamos una pérdida de clasificación para entrenar el módulo de mapeo de correlación para predecir la calidad de imagen en conjuntos de datos de evaluación de calidad de imagen. Experimentos extensos realizados en siete conjuntos de datos relevantes demostraron que el método propuesto logra un rendimiento de vanguardia tanto en tareas de evaluación de calidad de imagen con distorsión sintética como con distorsión natural.