Indexación y recuperación multimedia semántica basada en IA para redes sociales en teléfonos inteligentes
Autores: Wagenpfeil, Stefan; Engel, Felix; Kevitt, Paul Mc; Hemmje, Matthias
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Indexación y recuperación multimedia semántica basada en IA para redes sociales en teléfonos inteligentes
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Activos multimedia
Indexación semántica
Recuperación
Inteligencia artificial
Aprendizaje automático
Gráfico de vectores de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Para hacer frente al creciente número de activos multimedia en smartphones y redes sociales, se requiere un enfoque integrado para la indexación y recuperación semántica. Aquí, presentamos un marco genérico para fusionar herramientas y algoritmos existentes de análisis de imágenes y videos en un modelo unificado de anotación semántica, indexación y recuperación, resultando en un gráfico de vectores de características multimedia que representa varios niveles de contenido mediático, estructuras mediáticas y características mediáticas. Utilizando inteligencia artificial (IA) y aprendizaje automático (AA), estas representaciones de características pueden proporcionar una indexación y recuperación semántica precisas. Aquí, ofrecemos una visión general del marco de análisis multimedia genérico (GMAF) y la definición de un marco de gráfico de vectores de características multimedia (MMFVGF). También introducimos AI4MMRA para detectar diferencias, mejorar la semántica y refinar los pesos en el gráfico de vectores de características. Para abordar requisitos particulares en smartphones, introducimos un algoritmo para la indexación y recuperación rápida de estructuras de gráficos. Se incluyen experimentos para probar la eficiencia, efectividad y calidad del algoritmo. En resumen, describimos una solución para la indexación y recuperación semántica altamente flexible que ofrece un potencial único para aplicaciones como redes sociales o aplicaciones locales en smartphones.
Descripción
Para hacer frente al creciente número de activos multimedia en smartphones y redes sociales, se requiere un enfoque integrado para la indexación y recuperación semántica. Aquí, presentamos un marco genérico para fusionar herramientas y algoritmos existentes de análisis de imágenes y videos en un modelo unificado de anotación semántica, indexación y recuperación, resultando en un gráfico de vectores de características multimedia que representa varios niveles de contenido mediático, estructuras mediáticas y características mediáticas. Utilizando inteligencia artificial (IA) y aprendizaje automático (AA), estas representaciones de características pueden proporcionar una indexación y recuperación semántica precisas. Aquí, ofrecemos una visión general del marco de análisis multimedia genérico (GMAF) y la definición de un marco de gráfico de vectores de características multimedia (MMFVGF). También introducimos AI4MMRA para detectar diferencias, mejorar la semántica y refinar los pesos en el gráfico de vectores de características. Para abordar requisitos particulares en smartphones, introducimos un algoritmo para la indexación y recuperación rápida de estructuras de gráficos. Se incluyen experimentos para probar la eficiencia, efectividad y calidad del algoritmo. En resumen, describimos una solución para la indexación y recuperación semántica altamente flexible que ofrece un potencial único para aplicaciones como redes sociales o aplicaciones locales en smartphones.