logo móvil
Contáctanos

Fusión multi-semántica profunda basada en hashing cruzado multimodal

Autores: Zhu, Xinghui; Cai, Liewu; Zou, Zhuoyang; Zhu, Lei

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Fusión multi-semántica profunda basada en hashing cruzado multimodal


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje profundo
Hash de recuperación cruzada modal
Aprendizaje semántico multi-etiqueta
Redes neuronales profundas
Método de fusión semántica
Regularización de gráficos

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 32

Citaciones: Sin citaciones


Descripción
Debido a los bajos costos de almacenamiento y búsqueda, el método de hash de recuperación cruzada ha recibido mucho interés en la investigación en la era de big data. Debido a la aplicación de aprendizaje profundo, las capacidades de representación cruzada modal han aumentado notablemente. Sin embargo, los métodos de hash profundo existentes no pueden considerar el aprendizaje semántico multietiqueta y el aprendizaje de similitud cruzada modal simultáneamente. Eso significa que las posibles correlaciones semánticas entre los datos multimedia no se extraen completamente de las etiquetas de múltiples categorías, lo que también afecta la preservación de la similitud original de los códigos hash cruzados modales. Con este fin, este documento propone el hash cruzado modal basado en fusión semántica multi-profunda (DMSFH), que utiliza dos redes neuronales profundas para extraer características cruzadas modales, y utiliza un método de fusión semántica multietiqueta para mejorar el aprendizaje de discriminación semántica coherente cruzada modal. Además, se combina un método de regularización de gráficos con pérdida de pares intermodales e intramodales para preservar la relación de vecino más cercano entre los datos en el subespacio de Hamming. Por lo tanto, DMSFH no solo conserva la similitud semántica entre los datos multimodales, sino que también integra la información de múltiples etiquetas en el aprendizaje modal. Los extensos resultados experimentales en dos conjuntos de datos de referencia comúnmente utilizados muestran que nuestro DMSFH es competitivo con los métodos de vanguardia.

Otros recursos que podrían interesarte

Temas Virtualpro