Multi-modal alineación de preguntas visuales basada en mecanismo de atención multi-hop
Autores: Xia, Qihao; Yu, Chao; Hou, Yinong; Peng, Pingping; Zheng, Zhengqi; Chen, Wen
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Multi-modal alineación de preguntas visuales basada en mecanismo de atención multi-hop
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Alineación
Información
Autoatención
Pesos de atención
Multi-salto
Incrustación de posición
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
La alineación de la información entre la imagen y la pregunta es de gran importancia en la tarea de respuesta visual a preguntas (VQA). El autoatención se utiliza comúnmente para generar pesos de atención entre la imagen y la pregunta. Estos pesos de atención pueden alinear dos modalidades. A través del peso de atención, el modelo puede seleccionar el área relevante de la imagen para alinearla con la pregunta. Sin embargo, al usar el mecanismo de autoatención, el peso de atención entre dos objetos solo se determina por la representación de estos dos objetos. Ignora la influencia de otros objetos alrededor de estos dos objetos. Esta contribución propone un nuevo método de alineación de atención multi-hop que enriquece la información circundante al usar autoatención para alinear dos modalidades. Al mismo tiempo, para utilizar la información de posición en la alineación, también proponemos un mecanismo de incrustación de posición. El mecanismo de incrustación de posición extrae la información de posición de cada objeto e implementa el mecanismo de incrustación de posición para alinear la palabra de la pregunta con la posición correcta en la imagen. Según el experimento en el conjunto de datos VQA2.0, nuestro modelo logra una precisión de validación del 65.77%, superando a varios métodos de vanguardia. El resultado experimental muestra que nuestros métodos propuestos tienen un mejor rendimiento y efectividad.
Descripción
La alineación de la información entre la imagen y la pregunta es de gran importancia en la tarea de respuesta visual a preguntas (VQA). El autoatención se utiliza comúnmente para generar pesos de atención entre la imagen y la pregunta. Estos pesos de atención pueden alinear dos modalidades. A través del peso de atención, el modelo puede seleccionar el área relevante de la imagen para alinearla con la pregunta. Sin embargo, al usar el mecanismo de autoatención, el peso de atención entre dos objetos solo se determina por la representación de estos dos objetos. Ignora la influencia de otros objetos alrededor de estos dos objetos. Esta contribución propone un nuevo método de alineación de atención multi-hop que enriquece la información circundante al usar autoatención para alinear dos modalidades. Al mismo tiempo, para utilizar la información de posición en la alineación, también proponemos un mecanismo de incrustación de posición. El mecanismo de incrustación de posición extrae la información de posición de cada objeto e implementa el mecanismo de incrustación de posición para alinear la palabra de la pregunta con la posición correcta en la imagen. Según el experimento en el conjunto de datos VQA2.0, nuestro modelo logra una precisión de validación del 65.77%, superando a varios métodos de vanguardia. El resultado experimental muestra que nuestros métodos propuestos tienen un mejor rendimiento y efectividad.