Fusión multi-semántica profunda basada en hashing cruzado multimodal
Autores: Zhu, Xinghui; Cai, Liewu; Zou, Zhuoyang; Zhu, Lei
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Fusión multi-semántica profunda basada en hashing cruzado multimodal
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje profundo
Hash de recuperación cruzada modal
Aprendizaje semántico multi-etiqueta
Redes neuronales profundas
Método de fusión semántica
Regularización de gráficos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
Debido a los bajos costos de almacenamiento y búsqueda, el método de hash de recuperación cruzada ha recibido mucho interés en la investigación en la era de big data. Debido a la aplicación de aprendizaje profundo, las capacidades de representación cruzada modal han aumentado notablemente. Sin embargo, los métodos de hash profundo existentes no pueden considerar el aprendizaje semántico multietiqueta y el aprendizaje de similitud cruzada modal simultáneamente. Eso significa que las posibles correlaciones semánticas entre los datos multimedia no se extraen completamente de las etiquetas de múltiples categorías, lo que también afecta la preservación de la similitud original de los códigos hash cruzados modales. Con este fin, este documento propone el hash cruzado modal basado en fusión semántica multi-profunda (DMSFH), que utiliza dos redes neuronales profundas para extraer características cruzadas modales, y utiliza un método de fusión semántica multietiqueta para mejorar el aprendizaje de discriminación semántica coherente cruzada modal. Además, se combina un método de regularización de gráficos con pérdida de pares intermodales e intramodales para preservar la relación de vecino más cercano entre los datos en el subespacio de Hamming. Por lo tanto, DMSFH no solo conserva la similitud semántica entre los datos multimodales, sino que también integra la información de múltiples etiquetas en el aprendizaje modal. Los extensos resultados experimentales en dos conjuntos de datos de referencia comúnmente utilizados muestran que nuestro DMSFH es competitivo con los métodos de vanguardia.
Descripción
Debido a los bajos costos de almacenamiento y búsqueda, el método de hash de recuperación cruzada ha recibido mucho interés en la investigación en la era de big data. Debido a la aplicación de aprendizaje profundo, las capacidades de representación cruzada modal han aumentado notablemente. Sin embargo, los métodos de hash profundo existentes no pueden considerar el aprendizaje semántico multietiqueta y el aprendizaje de similitud cruzada modal simultáneamente. Eso significa que las posibles correlaciones semánticas entre los datos multimedia no se extraen completamente de las etiquetas de múltiples categorías, lo que también afecta la preservación de la similitud original de los códigos hash cruzados modales. Con este fin, este documento propone el hash cruzado modal basado en fusión semántica multi-profunda (DMSFH), que utiliza dos redes neuronales profundas para extraer características cruzadas modales, y utiliza un método de fusión semántica multietiqueta para mejorar el aprendizaje de discriminación semántica coherente cruzada modal. Además, se combina un método de regularización de gráficos con pérdida de pares intermodales e intramodales para preservar la relación de vecino más cercano entre los datos en el subespacio de Hamming. Por lo tanto, DMSFH no solo conserva la similitud semántica entre los datos multimodales, sino que también integra la información de múltiples etiquetas en el aprendizaje modal. Los extensos resultados experimentales en dos conjuntos de datos de referencia comúnmente utilizados muestran que nuestro DMSFH es competitivo con los métodos de vanguardia.