logo móvil
Contáctanos

Qa-rag: explorando la dependencia de LLM en conocimiento externo

Autores: Mansurova, Aigerim; Mansurova, Aiganym; Nugumanova, Aliya

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Qa-rag: explorando la dependencia de LLM en conocimiento externo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Grandes modelos de lenguaje
Conocimiento factual
Tareas de pregunta-respuesta
Conocimiento externo
Solución RAG
LLMs-Llama

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
Los modelos de lenguaje grandes (LLMs) pueden almacenar conocimientos factuales dentro de sus parámetros y han logrado resultados superiores en tareas de pregunta-respuesta. Sin embargo, persisten desafíos en proporcionar procedencia para sus decisiones y mantener actualizados sus conocimientos. Algunos enfoques buscan abordar estos desafíos combinando conocimientos externos con memoria paramétrica. Por el contrario, nuestra solución propuesta QA-RAG se basa únicamente en los datos almacenados dentro de una base de conocimientos externa, específicamente una base de datos de índices de vectores densos. En este documento, comparamos las configuraciones de RAG utilizando dos LLMs-Llama 2 7b y 13b-examinando sistemáticamente su rendimiento en tres capacidades clave de RAG: robustez al ruido, detección de brechas de conocimiento e integración de la verdad externa. La evaluación revela que mientras nuestro enfoque logra una precisión del 83.3%, mostrando su efectividad en todos los baselines, el modelo aún lucha significativamente en términos de integración de la verdad externa. Estos hallazgos sugieren que aún se requiere un trabajo considerable para aprovechar completamente RAG en tareas de pregunta-respuesta.

Otros recursos que podrían interesarte

Temas Virtualpro