Hacia la Explicabilidad Semántica Automatizada de Gráficos de Características Multimedia
Autores: Wagenpfeil, Stefan; Mc Kevitt, Paul; Hemmje, Matthias
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Hacia la Explicabilidad Semántica Automatizada de Gráficos de Características Multimedia
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Características multimedia
Gráfico de características
Expresiones en lenguaje natural
Extensión semántica
Objetos multimedia
Reglas de producción
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Se emplean gráficos de características multimedia para representar características de imágenes, videos, audio o texto. Existen diversas técnicas para extraer tales características de objetos multimedia. En este documento, describimos la extensión de dicho gráfico de características para representar el significado de tales características multimedia e introducimos una gramática PS (gramática de estructura de frases) libre de contexto formal para generar automáticamente expresiones en lenguaje natural comprensibles para los humanos basadas en tales características. Para lograr esto, definimos una extensión semántica a los gráficos de características multimedia sintácticos e introducimos un conjunto de reglas de producción para frases de expresiones en inglés en lenguaje natural. Esta explicabilidad, que se basa en un modelo semántico, proporciona la oportunidad de representar cualquier característica multimedia en una forma legible y comprensible para los humanos, lo que cierra en gran medida la brecha entre la representación técnica de tales características y su semántica. Mostramos cómo esta explicabilidad puede ser definida formalmente y demostramos la implementación correspondiente basada en nuestro marco de análisis multimedia genérico. Además, mostramos cómo esta extensión semántica puede ser empleada para aumentar la efectividad en experimentos de precisión y recuperación.
Descripción
Se emplean gráficos de características multimedia para representar características de imágenes, videos, audio o texto. Existen diversas técnicas para extraer tales características de objetos multimedia. En este documento, describimos la extensión de dicho gráfico de características para representar el significado de tales características multimedia e introducimos una gramática PS (gramática de estructura de frases) libre de contexto formal para generar automáticamente expresiones en lenguaje natural comprensibles para los humanos basadas en tales características. Para lograr esto, definimos una extensión semántica a los gráficos de características multimedia sintácticos e introducimos un conjunto de reglas de producción para frases de expresiones en inglés en lenguaje natural. Esta explicabilidad, que se basa en un modelo semántico, proporciona la oportunidad de representar cualquier característica multimedia en una forma legible y comprensible para los humanos, lo que cierra en gran medida la brecha entre la representación técnica de tales características y su semántica. Mostramos cómo esta explicabilidad puede ser definida formalmente y demostramos la implementación correspondiente basada en nuestro marco de análisis multimedia genérico. Además, mostramos cómo esta extensión semántica puede ser empleada para aumentar la efectividad en experimentos de precisión y recuperación.