Método de alineación de entidades de persona basado en la agregación de información multimodal
Autores: Wang, Huansha; Huang, Ruiyang; Zhang, Jianpeng
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Método de alineación de entidades de persona basado en la agregación de información multimodal
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Alineación de entidades
Entidades personales multimodales
Grafos de conocimiento
Espacio semántico
Método de alineación de entidades multimodales
Atención gráfica dinámica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 50
Citaciones: Sin citaciones
La alineación de entidades se utiliza para determinar si las entidades de diferentes fuentes se refieren al mismo objeto en el mundo real. Es una de las tecnologías clave para construir grafos de conocimiento a gran escala y se utiliza ampliamente en los campos de grafos de conocimiento y complementación de conocimiento. Debido a la falta de conexión semántica entre la modalidad visual del atributo facial de la entidad persona y la información de atributo y relación de la modalidad de texto, es difícil modelar la modalidad visual y de texto en el mismo espacio semántico, y, como resultado, el método tradicional de alineación de entidades multimodal no puede aplicarse. Dada la escasez de conjuntos de datos de grafos de relaciones personales multimodales y la dificultad de modelar semánticamente entidades personales multimodales, este documento analiza y recopila datos semiestructurados de código abierto de diferentes fuentes para construir un conjunto de datos de alineación de entidades de persona multimodal y se centra en utilizar la información facial y semántica de entidades de persona multimodales para mejorar la similitud de las características estructurales de la entidad que se modelan utilizando la capa de convolución de gráficos y la capa de atención de gráficos dinámicos para calcular la similitud. A través de la verificación en el conjunto de datos de alineación de entidades de persona multimodal autoelaborado, el método propuesto en este documento se compara con otros modelos de alineación de entidades que tienen una estructura similar. En comparación con AliNet, la probabilidad de que el primer elemento en el conjunto de entidades prealineadas candidatas sea correcto aumenta en un 12.4% y el rango promedio de entidades alineadas correctamente en el conjunto de entidades prealineadas candidatas disminuyó en un 32.8, lo que demuestra el efecto positivo de integrar información facial multimodal, aplicar atención de gráficos dinámicos y una red con compuertas por capas para mejorar el efecto de alineación de entidades de persona.
Descripción
La alineación de entidades se utiliza para determinar si las entidades de diferentes fuentes se refieren al mismo objeto en el mundo real. Es una de las tecnologías clave para construir grafos de conocimiento a gran escala y se utiliza ampliamente en los campos de grafos de conocimiento y complementación de conocimiento. Debido a la falta de conexión semántica entre la modalidad visual del atributo facial de la entidad persona y la información de atributo y relación de la modalidad de texto, es difícil modelar la modalidad visual y de texto en el mismo espacio semántico, y, como resultado, el método tradicional de alineación de entidades multimodal no puede aplicarse. Dada la escasez de conjuntos de datos de grafos de relaciones personales multimodales y la dificultad de modelar semánticamente entidades personales multimodales, este documento analiza y recopila datos semiestructurados de código abierto de diferentes fuentes para construir un conjunto de datos de alineación de entidades de persona multimodal y se centra en utilizar la información facial y semántica de entidades de persona multimodales para mejorar la similitud de las características estructurales de la entidad que se modelan utilizando la capa de convolución de gráficos y la capa de atención de gráficos dinámicos para calcular la similitud. A través de la verificación en el conjunto de datos de alineación de entidades de persona multimodal autoelaborado, el método propuesto en este documento se compara con otros modelos de alineación de entidades que tienen una estructura similar. En comparación con AliNet, la probabilidad de que el primer elemento en el conjunto de entidades prealineadas candidatas sea correcto aumenta en un 12.4% y el rango promedio de entidades alineadas correctamente en el conjunto de entidades prealineadas candidatas disminuyó en un 32.8, lo que demuestra el efecto positivo de integrar información facial multimodal, aplicar atención de gráficos dinámicos y una red con compuertas por capas para mejorar el efecto de alineación de entidades de persona.