logo móvil
Contáctanos

Dsceh: dual-stream correlation-enhanced deep hashing para recuperación de imágenes

Autores: Yang, Yulin; Chen, Huizhen; Liu, Rongkai; Liu, Shuning; Zhan, Yu; Hu, Chao; Shi, Ronghua

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Dsceh: dual-stream correlation-enhanced deep hashing para recuperación de imágenes


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Hashing profundo
Red neuronal convolucional
Transformador de visión
Mejorado con correlación
De doble flujo
Recuperación de imágenes

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 26

Citaciones: Sin citaciones


Descripción
El Hashing Profundo se utiliza ampliamente para tareas de recuperación de imágenes a gran escala para acelerar el proceso de recuperación. Los métodos actuales de hashing profundo se basan principalmente en la Red Neuronal Convolucional (CNN) o el Transformador de Visión (VIT). Solo utilizan las características locales o globales para el mapeo de baja dimensión y solo utilizan la función de pérdida de similitud para optimizar la correlación entre imágenes en pares o tríos. Por lo tanto, la efectividad de los métodos de hashing profundo es limitada. En este documento, proponemos un marco de hashing profundo mejorado con correlación de doble flujo (DSCEH), que utiliza las características locales y globales de la imagen para el mapeo de baja dimensión y optimiza la correlación de imágenes desde la arquitectura del modelo. DSCEH consta de dos pasos principales: entrenamiento del modelo y recuperación basada en hashing profundo. Durante la fase de entrenamiento, se emplea una estructura de doble red que comprende CNN y VIT para la extracción de características. Posteriormente, se logra una fusión de características a través de una operación de concatenación, seguida de una evaluación de similitud basada en el token de clase adquirido de VIT para establecer relaciones de borde. Luego se utiliza la Red Convolucional de Grafos para mejorar la optimización de correlación entre imágenes, lo que resulta en la generación de códigos hash de alta calidad. Esta etapa facilita el desarrollo de un modelo de hash optimizado para la recuperación de imágenes. En la etapa de recuperación, todas las imágenes dentro de la base de datos y las imágenes a recuperar se asignan inicialmente a códigos hash utilizando el modelo de hash mencionado anteriormente. Los resultados de la recuperación se determinan posteriormente en función de la distancia de Hamming entre los códigos hash. Realizamos experimentos en tres conjuntos de datos: CIFAR-10, MSCOCO y NUSWIDE. Los resultados experimentales muestran el rendimiento superior de DSCEH, lo que ayuda con la recuperación rápida y precisa de imágenes.

Otros recursos que podrían interesarte

Temas Virtualpro