logo móvil
Contáctanos

ADR: La detección de cabezas de atención y el reescalado mejoran el rendimiento de RAG en un paradigma sin codificación posicional

Autores: Wang, Mingwei; Li, Xiaobo; Zeng, Qian; Liu, Xingbang; Yang, Minghao; Jia, Zhichen

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

ADR: La detección de cabezas de atención y el reescalado mejoran el rendimiento de RAG en un paradigma sin codificación posicional


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Generación aumentada por recuperación
Conciencia del contexto
Detección y reponderación de cabezales de atención
Cabezales que suprimen RAG
Coeficientes aprendidos
Modelos ajustados.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
La generación aumentada por recuperación (RAG) ha establecido un nuevo paradigma de búsqueda, en el que los grandes modelos de lenguaje integran recursos externos para compensar sus limitaciones inherentes de conocimiento. Sin embargo, la limitada conciencia del contexto reduce el rendimiento de los grandes modelos de lenguaje en tareas de RAG. Las soluciones existentes incurren en una sobrecarga adicional de tiempo y memoria y dependen de codificaciones posicionales específicas. En este artículo, proponemos la Detección y Reajuste de Cabezas de Atención (ADR), un marco ligero y general. Específicamente, empleamos una tarea de reconocimiento para identificar las cabezas que suprimen RAG y limitan la conciencia del contexto del modelo. Luego, reajustamos sus salidas con coeficientes aprendidos para mitigar la influencia de estas cabezas que suprimen RAG. Después del entrenamiento, los pesos se fijan durante la inferencia, sin introducir sobrecarga de tiempo adicional y permaneciendo agnósticos a la elección de la incrustación posicional. Los experimentos en PetroAI demuestran además que ADR mejora la conciencia del contexto de los modelos ajustados.

Otros recursos que podrían interesarte

Temas Virtualpro