logo móvil
Contáctanos

Multi-modal alineación de preguntas visuales basada en mecanismo de atención multi-hop

Autores: Xia, Qihao; Yu, Chao; Hou, Yinong; Peng, Pingping; Zheng, Zhengqi; Chen, Wen

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico
2022

Multi-modal alineación de preguntas visuales basada en mecanismo de atención multi-hop


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Alineación
Información
Autoatención
Pesos de atención
Multi-salto
Incrustación de posición

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 27

Citaciones: Sin citaciones


Descripción
La alineación de la información entre la imagen y la pregunta es de gran importancia en la tarea de respuesta visual a preguntas (VQA). El autoatención se utiliza comúnmente para generar pesos de atención entre la imagen y la pregunta. Estos pesos de atención pueden alinear dos modalidades. A través del peso de atención, el modelo puede seleccionar el área relevante de la imagen para alinearla con la pregunta. Sin embargo, al usar el mecanismo de autoatención, el peso de atención entre dos objetos solo se determina por la representación de estos dos objetos. Ignora la influencia de otros objetos alrededor de estos dos objetos. Esta contribución propone un nuevo método de alineación de atención multi-hop que enriquece la información circundante al usar autoatención para alinear dos modalidades. Al mismo tiempo, para utilizar la información de posición en la alineación, también proponemos un mecanismo de incrustación de posición. El mecanismo de incrustación de posición extrae la información de posición de cada objeto e implementa el mecanismo de incrustación de posición para alinear la palabra de la pregunta con la posición correcta en la imagen. Según el experimento en el conjunto de datos VQA2.0, nuestro modelo logra una precisión de validación del 65.77%, superando a varios métodos de vanguardia. El resultado experimental muestra que nuestros métodos propuestos tienen un mejor rendimiento y efectividad.

Otros recursos que podrían interesarte

Temas Virtualpro