Aplicación web para generación aumentada de recuperación: implementación y pruebas
Autores: Radeva, Irina; Popchev, Ivan; Doukovska, Lyubka; Dimitrova, Miroslava
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aplicación web para generación aumentada de recuperación: implementación y pruebas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Implementación
Generación aumentada por recuperación
Tecnología
De código abierto
Modelos de lenguaje grandes
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
El propósito de este documento es explorar la implementación de la tecnología de generación aumentada por recuperación (RAG) con modelos de lenguaje grandes (LLMs) de código abierto. Se desarrolló una aplicación web dedicada, PaSSER, que integra RAG con los modelos Mistral:7b, Llama2:7b y Orca2:7b. Se utilizaron varios instrumentos de software en el desarrollo de la aplicación. PaSSER emplea un conjunto de métricas de evaluación, incluyendo METEOR, ROUGE, BLEU, perplejidad, similitud coseno, correlación de Pearson y puntuación F1, para evaluar el rendimiento de los LLMs, particularmente dentro del dominio de la agricultura inteligente. El documento presenta los resultados y análisis de dos pruebas. Una prueba evaluó el rendimiento de los LLMs en diferentes configuraciones de hardware, mientras que la otra determinó qué modelo entregó las respuestas más precisas y contextualmente relevantes dentro de RAG. El documento discute la integración de blockchain con LLMs para gestionar y almacenar los resultados de evaluación dentro de un entorno de blockchain. Las pruebas revelaron que las GPUs son esenciales para una generación de texto rápida, incluso para modelos de 7b. Orca2:7b en Mac M1 fue el más rápido, y Mistral:7b tuvo un rendimiento superior en el conjunto de datos de 446 preguntas y respuestas. La discusión se centra en consideraciones técnicas y de hardware que afectan el rendimiento de los LLMs. La conclusión esboza futuros desarrollos en el aprovechamiento de otros LLMs, enfoques de ajuste fino y una mayor integración con blockchain e IPFS.
Descripción
El propósito de este documento es explorar la implementación de la tecnología de generación aumentada por recuperación (RAG) con modelos de lenguaje grandes (LLMs) de código abierto. Se desarrolló una aplicación web dedicada, PaSSER, que integra RAG con los modelos Mistral:7b, Llama2:7b y Orca2:7b. Se utilizaron varios instrumentos de software en el desarrollo de la aplicación. PaSSER emplea un conjunto de métricas de evaluación, incluyendo METEOR, ROUGE, BLEU, perplejidad, similitud coseno, correlación de Pearson y puntuación F1, para evaluar el rendimiento de los LLMs, particularmente dentro del dominio de la agricultura inteligente. El documento presenta los resultados y análisis de dos pruebas. Una prueba evaluó el rendimiento de los LLMs en diferentes configuraciones de hardware, mientras que la otra determinó qué modelo entregó las respuestas más precisas y contextualmente relevantes dentro de RAG. El documento discute la integración de blockchain con LLMs para gestionar y almacenar los resultados de evaluación dentro de un entorno de blockchain. Las pruebas revelaron que las GPUs son esenciales para una generación de texto rápida, incluso para modelos de 7b. Orca2:7b en Mac M1 fue el más rápido, y Mistral:7b tuvo un rendimiento superior en el conjunto de datos de 446 preguntas y respuestas. La discusión se centra en consideraciones técnicas y de hardware que afectan el rendimiento de los LLMs. La conclusión esboza futuros desarrollos en el aprovechamiento de otros LLMs, enfoques de ajuste fino y una mayor integración con blockchain e IPFS.