Cpr-rag: un marco de generación aumentada de recuperación para apoyar el razonamiento lógico complejo y la planificación del conocimiento
Autores: Xu, Kehan; Zhang, Kun; Li, Jingyuan; Huang, Wei; Wang, Yuanzhuo
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Cpr-rag: un marco de generación aumentada de recuperación para apoyar el razonamiento lógico complejo y la planificación del conocimiento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Recuperación aumentada de generación
Marco RAG
Modelos de lenguaje grandes
Recuperación de conocimiento
Grafos de razonamiento
Generación de respuestas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
El marco de Generación con Recuperación Aumentada (RAG) mejora los Modelos de Lenguaje Grandes (LLMs) al recuperar conocimiento relevante para ampliar sus límites de conocimiento y mitigar alucinaciones factuales derivadas de lagunas de conocimiento. Sin embargo, el marco de RAG enfrenta desafíos en la recuperación y utilización efectiva del conocimiento; el conocimiento inválido o mal utilizado interferirá con la generación de LLM, reduciendo la eficiencia del razonamiento y la calidad de las respuestas. Los métodos de RAG existentes abordan estos problemas descomponiendo y expandiendo consultas, introduciendo estructuras de conocimiento especiales y utilizando evaluación y retroalimentación del proceso de razonamiento. Sin embargo, las estructuras de razonamiento lineales limitan las transformaciones de pensamiento complejas y el razonamiento basado en consultas intrincadas. Además, la recuperación y utilización de conocimiento están desacopladas del razonamiento y la generación de respuestas, obstaculizando el soporte efectivo del conocimiento durante la generación de respuestas. Para abordar estas limitaciones, proponemos el marco CRP-RAG, que emplea gráficos de razonamiento para modelar procesos de razonamiento de consultas complejas de manera más completa y precisa. CRP-RAG guía la recuperación, agregación y evaluación de conocimiento a través de gráficos de razonamiento, ajustando dinámicamente el camino de razonamiento en función de los resultados de la evaluación y seleccionando caminos de suficiencia de conocimiento para la generación de respuestas. CRP-RAG supera a los mejores LLM y líneas de base de RAG en 2.46 en preguntas y respuestas de dominio abierto, 7.43 en razonamiento multi-paso y 4.2 en verificación factual. Los experimentos también muestran la consistencia factual superior y la robustez de CRP-RAG sobre los métodos de RAG existentes. Los análisis extensos confirman su razonamiento preciso y fiel a los hechos y la generación de respuestas para consultas complejas.
Descripción
El marco de Generación con Recuperación Aumentada (RAG) mejora los Modelos de Lenguaje Grandes (LLMs) al recuperar conocimiento relevante para ampliar sus límites de conocimiento y mitigar alucinaciones factuales derivadas de lagunas de conocimiento. Sin embargo, el marco de RAG enfrenta desafíos en la recuperación y utilización efectiva del conocimiento; el conocimiento inválido o mal utilizado interferirá con la generación de LLM, reduciendo la eficiencia del razonamiento y la calidad de las respuestas. Los métodos de RAG existentes abordan estos problemas descomponiendo y expandiendo consultas, introduciendo estructuras de conocimiento especiales y utilizando evaluación y retroalimentación del proceso de razonamiento. Sin embargo, las estructuras de razonamiento lineales limitan las transformaciones de pensamiento complejas y el razonamiento basado en consultas intrincadas. Además, la recuperación y utilización de conocimiento están desacopladas del razonamiento y la generación de respuestas, obstaculizando el soporte efectivo del conocimiento durante la generación de respuestas. Para abordar estas limitaciones, proponemos el marco CRP-RAG, que emplea gráficos de razonamiento para modelar procesos de razonamiento de consultas complejas de manera más completa y precisa. CRP-RAG guía la recuperación, agregación y evaluación de conocimiento a través de gráficos de razonamiento, ajustando dinámicamente el camino de razonamiento en función de los resultados de la evaluación y seleccionando caminos de suficiencia de conocimiento para la generación de respuestas. CRP-RAG supera a los mejores LLM y líneas de base de RAG en 2.46 en preguntas y respuestas de dominio abierto, 7.43 en razonamiento multi-paso y 4.2 en verificación factual. Los experimentos también muestran la consistencia factual superior y la robustez de CRP-RAG sobre los métodos de RAG existentes. Los análisis extensos confirman su razonamiento preciso y fiel a los hechos y la generación de respuestas para consultas complejas.