MultArtRec: un modelo de temas neurales multimodales para integrar características de imagen y texto en recomendaciones de obras de arte
Autores: Wang, Jiayun; Maeda, Akira; Kawagoe, Kyoji
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
MultArtRec: un modelo de temas neurales multimodales para integrar características de imagen y texto en recomendaciones de obras de arte
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas de recomendación de arte
Preferencias del usuario
Información multimodal
Modelado de temas neurales
MultArtRec
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 47
Citaciones: Sin citaciones
Los sistemas de recomendación ayudan a los usuarios a obtener el contenido que necesitan de grandes cantidades de información. Los sistemas de recomendación de obras de arte es un tema que ha atraído atención. Sin embargo, los sistemas de recomendación de arte existentes rara vez consideran las preferencias del usuario y la información multimodal al mismo tiempo, mientras que utilizar toda la información tiene el potencial de ayudar a hacer recomendaciones personalizadas mejores. Para aplicar mejor los sistemas de recomendación al escenario de recomendación de obras de arte, proponemos un nuevo sistema de recomendación de obras de arte multimodal basado en modelado de temas neuronales (NTM) (MultArtRec), que puede tener en cuenta toda la información al mismo tiempo y extraer características efectivas que representen las preferencias del usuario a partir de contenido multimodal. Además, para mejorar el rendimiento de MultArtRec en la extracción de características monomodales, agregamos un término de pérdida de tema novedoso a la pérdida NTM convencional. Los dos primeros experimentos en este estudio comparan el rendimiento de diferentes modelos con diferentes entradas monomodales. Los resultados muestran que MultArtRec puede mejorar el rendimiento con entradas de modalidad de imagen hasta un 174.8% en comparación con el segundo mejor modelo y mejorar el rendimiento con entradas de modalidad de texto hasta un 10.7% en comparación con el segundo mejor modelo. El tercer experimento se realiza para comparar el rendimiento de MultArtRec con entradas monomodales y entradas multimodales. Los resultados muestran que el rendimiento de MultArtRec con entradas multimodales puede mejorarse hasta un 15.9% en comparación con las entradas monomodales. El último experimento prueba preliminarmente la versatilidad de MultArtRec en un escenario de recomendación de moda que considera el contenido de imagen de la ropa y las preferencias del usuario. Los resultados muestran que MultArtRec supera a los otros métodos en todas las métricas.
Descripción
Los sistemas de recomendación ayudan a los usuarios a obtener el contenido que necesitan de grandes cantidades de información. Los sistemas de recomendación de obras de arte es un tema que ha atraído atención. Sin embargo, los sistemas de recomendación de arte existentes rara vez consideran las preferencias del usuario y la información multimodal al mismo tiempo, mientras que utilizar toda la información tiene el potencial de ayudar a hacer recomendaciones personalizadas mejores. Para aplicar mejor los sistemas de recomendación al escenario de recomendación de obras de arte, proponemos un nuevo sistema de recomendación de obras de arte multimodal basado en modelado de temas neuronales (NTM) (MultArtRec), que puede tener en cuenta toda la información al mismo tiempo y extraer características efectivas que representen las preferencias del usuario a partir de contenido multimodal. Además, para mejorar el rendimiento de MultArtRec en la extracción de características monomodales, agregamos un término de pérdida de tema novedoso a la pérdida NTM convencional. Los dos primeros experimentos en este estudio comparan el rendimiento de diferentes modelos con diferentes entradas monomodales. Los resultados muestran que MultArtRec puede mejorar el rendimiento con entradas de modalidad de imagen hasta un 174.8% en comparación con el segundo mejor modelo y mejorar el rendimiento con entradas de modalidad de texto hasta un 10.7% en comparación con el segundo mejor modelo. El tercer experimento se realiza para comparar el rendimiento de MultArtRec con entradas monomodales y entradas multimodales. Los resultados muestran que el rendimiento de MultArtRec con entradas multimodales puede mejorarse hasta un 15.9% en comparación con las entradas monomodales. El último experimento prueba preliminarmente la versatilidad de MultArtRec en un escenario de recomendación de moda que considera el contenido de imagen de la ropa y las preferencias del usuario. Los resultados muestran que MultArtRec supera a los otros métodos en todas las métricas.