Qa-rag: explorando la dependencia de LLM en conocimiento externo
Autores: Mansurova, Aigerim; Mansurova, Aiganym; Nugumanova, Aliya
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Qa-rag: explorando la dependencia de LLM en conocimiento externo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Grandes modelos de lenguaje
Conocimiento factual
Tareas de pregunta-respuesta
Conocimiento externo
Solución RAG
LLMs-Llama
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Los modelos de lenguaje grandes (LLMs) pueden almacenar conocimientos factuales dentro de sus parámetros y han logrado resultados superiores en tareas de pregunta-respuesta. Sin embargo, persisten desafíos en proporcionar procedencia para sus decisiones y mantener actualizados sus conocimientos. Algunos enfoques buscan abordar estos desafíos combinando conocimientos externos con memoria paramétrica. Por el contrario, nuestra solución propuesta QA-RAG se basa únicamente en los datos almacenados dentro de una base de conocimientos externa, específicamente una base de datos de índices de vectores densos. En este documento, comparamos las configuraciones de RAG utilizando dos LLMs-Llama 2 7b y 13b-examinando sistemáticamente su rendimiento en tres capacidades clave de RAG: robustez al ruido, detección de brechas de conocimiento e integración de la verdad externa. La evaluación revela que mientras nuestro enfoque logra una precisión del 83.3%, mostrando su efectividad en todos los baselines, el modelo aún lucha significativamente en términos de integración de la verdad externa. Estos hallazgos sugieren que aún se requiere un trabajo considerable para aprovechar completamente RAG en tareas de pregunta-respuesta.
Descripción
Los modelos de lenguaje grandes (LLMs) pueden almacenar conocimientos factuales dentro de sus parámetros y han logrado resultados superiores en tareas de pregunta-respuesta. Sin embargo, persisten desafíos en proporcionar procedencia para sus decisiones y mantener actualizados sus conocimientos. Algunos enfoques buscan abordar estos desafíos combinando conocimientos externos con memoria paramétrica. Por el contrario, nuestra solución propuesta QA-RAG se basa únicamente en los datos almacenados dentro de una base de conocimientos externa, específicamente una base de datos de índices de vectores densos. En este documento, comparamos las configuraciones de RAG utilizando dos LLMs-Llama 2 7b y 13b-examinando sistemáticamente su rendimiento en tres capacidades clave de RAG: robustez al ruido, detección de brechas de conocimiento e integración de la verdad externa. La evaluación revela que mientras nuestro enfoque logra una precisión del 83.3%, mostrando su efectividad en todos los baselines, el modelo aún lucha significativamente en términos de integración de la verdad externa. Estos hallazgos sugieren que aún se requiere un trabajo considerable para aprovechar completamente RAG en tareas de pregunta-respuesta.