ADR: La detección de cabezas de atención y el reescalado mejoran el rendimiento de RAG en un paradigma sin codificación posicional
Autores: Wang, Mingwei; Li, Xiaobo; Zeng, Qian; Liu, Xingbang; Yang, Minghao; Jia, Zhichen
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
ADR: La detección de cabezas de atención y el reescalado mejoran el rendimiento de RAG en un paradigma sin codificación posicional
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Generación aumentada por recuperación
Conciencia del contexto
Detección y reponderación de cabezales de atención
Cabezales que suprimen RAG
Coeficientes aprendidos
Modelos ajustados.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La generación aumentada por recuperación (RAG) ha establecido un nuevo paradigma de búsqueda, en el que los grandes modelos de lenguaje integran recursos externos para compensar sus limitaciones inherentes de conocimiento. Sin embargo, la limitada conciencia del contexto reduce el rendimiento de los grandes modelos de lenguaje en tareas de RAG. Las soluciones existentes incurren en una sobrecarga adicional de tiempo y memoria y dependen de codificaciones posicionales específicas. En este artículo, proponemos la Detección y Reajuste de Cabezas de Atención (ADR), un marco ligero y general. Específicamente, empleamos una tarea de reconocimiento para identificar las cabezas que suprimen RAG y limitan la conciencia del contexto del modelo. Luego, reajustamos sus salidas con coeficientes aprendidos para mitigar la influencia de estas cabezas que suprimen RAG. Después del entrenamiento, los pesos se fijan durante la inferencia, sin introducir sobrecarga de tiempo adicional y permaneciendo agnósticos a la elección de la incrustación posicional. Los experimentos en PetroAI demuestran además que ADR mejora la conciencia del contexto de los modelos ajustados.
Descripción
La generación aumentada por recuperación (RAG) ha establecido un nuevo paradigma de búsqueda, en el que los grandes modelos de lenguaje integran recursos externos para compensar sus limitaciones inherentes de conocimiento. Sin embargo, la limitada conciencia del contexto reduce el rendimiento de los grandes modelos de lenguaje en tareas de RAG. Las soluciones existentes incurren en una sobrecarga adicional de tiempo y memoria y dependen de codificaciones posicionales específicas. En este artículo, proponemos la Detección y Reajuste de Cabezas de Atención (ADR), un marco ligero y general. Específicamente, empleamos una tarea de reconocimiento para identificar las cabezas que suprimen RAG y limitan la conciencia del contexto del modelo. Luego, reajustamos sus salidas con coeficientes aprendidos para mitigar la influencia de estas cabezas que suprimen RAG. Después del entrenamiento, los pesos se fijan durante la inferencia, sin introducir sobrecarga de tiempo adicional y permaneciendo agnósticos a la elección de la incrustación posicional. Los experimentos en PetroAI demuestran además que ADR mejora la conciencia del contexto de los modelos ajustados.