Embebido de Término de Pasaje Contextual de Múltiples Capas para Recuperación Ad-Hoc
Autores: Cai, Weihong; Hu, Zijun; Luo, Yalan; Liang, Daoyuan; Feng, Yifan; Chen, Jiaxin
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Embebido de Término de Pasaje Contextual de Múltiples Capas para Recuperación Ad-Hoc
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje
BERT
Tareas de recuperación de información
Coincidencia de consulta-documento
Extracción de resumen de texto
Evidencia a nivel de pasaje
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Hoy en día, los modelos de lenguaje preentrenados como las Representaciones de Codificador Bidireccional de Transformador (BERT) se están convirtiendo en un bloque básico en las tareas de Recuperación de Información. Sin embargo, existen varias limitaciones al aplicar BERT a la tarea de coincidencia de consulta-documento: (1) las evaluaciones de relevancia son aplicables a nivel de documento, y los tokens de los documentos a menudo superan la longitud máxima de entrada de BERT; (2) aplicar BERT a documentos largos conlleva un gran consumo de memoria y tiempo de ejecución, debido al costo computacional de las interacciones entre tokens. Este artículo explora una nueva arquitectura de pasajes contextuales de múltiples capas que aprovecha la extracción de resumen de texto para generar evidencia a nivel de pasaje para el pasaje de documento preseleccionado, lo que brinda nuevas posibilidades para la tarea de relevancia de documentos largos. Se realizaron experimentos en dos colecciones de recuperación ad-hoc estándar de la Conferencia de Recuperación de Texto (TREC) 2004 Robust Track (Robust04) y ClueWeb09, cada una con características diferentes. Los resultados experimentales muestran que nuestro enfoque puede superar significativamente las sólidas líneas base y, incluso en comparación con los mismos modelos basados en BERT, la precisión de nuestros métodos así como de los modelos de clasificación neural de última generación.
Descripción
Hoy en día, los modelos de lenguaje preentrenados como las Representaciones de Codificador Bidireccional de Transformador (BERT) se están convirtiendo en un bloque básico en las tareas de Recuperación de Información. Sin embargo, existen varias limitaciones al aplicar BERT a la tarea de coincidencia de consulta-documento: (1) las evaluaciones de relevancia son aplicables a nivel de documento, y los tokens de los documentos a menudo superan la longitud máxima de entrada de BERT; (2) aplicar BERT a documentos largos conlleva un gran consumo de memoria y tiempo de ejecución, debido al costo computacional de las interacciones entre tokens. Este artículo explora una nueva arquitectura de pasajes contextuales de múltiples capas que aprovecha la extracción de resumen de texto para generar evidencia a nivel de pasaje para el pasaje de documento preseleccionado, lo que brinda nuevas posibilidades para la tarea de relevancia de documentos largos. Se realizaron experimentos en dos colecciones de recuperación ad-hoc estándar de la Conferencia de Recuperación de Texto (TREC) 2004 Robust Track (Robust04) y ClueWeb09, cada una con características diferentes. Los resultados experimentales muestran que nuestro enfoque puede superar significativamente las sólidas líneas base y, incluso en comparación con los mismos modelos basados en BERT, la precisión de nuestros métodos así como de los modelos de clasificación neural de última generación.