logo móvil
Contáctanos

Aplicación web para generación aumentada de recuperación: implementación y pruebas

Autores: Radeva, Irina; Popchev, Ivan; Doukovska, Lyubka; Dimitrova, Miroslava

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Aplicación web para generación aumentada de recuperación: implementación y pruebas


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Implementación
Generación aumentada por recuperación
Tecnología
De código abierto
Modelos de lenguaje grandes
Rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
El propósito de este documento es explorar la implementación de la tecnología de generación aumentada por recuperación (RAG) con modelos de lenguaje grandes (LLMs) de código abierto. Se desarrolló una aplicación web dedicada, PaSSER, que integra RAG con los modelos Mistral:7b, Llama2:7b y Orca2:7b. Se utilizaron varios instrumentos de software en el desarrollo de la aplicación. PaSSER emplea un conjunto de métricas de evaluación, incluyendo METEOR, ROUGE, BLEU, perplejidad, similitud coseno, correlación de Pearson y puntuación F1, para evaluar el rendimiento de los LLMs, particularmente dentro del dominio de la agricultura inteligente. El documento presenta los resultados y análisis de dos pruebas. Una prueba evaluó el rendimiento de los LLMs en diferentes configuraciones de hardware, mientras que la otra determinó qué modelo entregó las respuestas más precisas y contextualmente relevantes dentro de RAG. El documento discute la integración de blockchain con LLMs para gestionar y almacenar los resultados de evaluación dentro de un entorno de blockchain. Las pruebas revelaron que las GPUs son esenciales para una generación de texto rápida, incluso para modelos de 7b. Orca2:7b en Mac M1 fue el más rápido, y Mistral:7b tuvo un rendimiento superior en el conjunto de datos de 446 preguntas y respuestas. La discusión se centra en consideraciones técnicas y de hardware que afectan el rendimiento de los LLMs. La conclusión esboza futuros desarrollos en el aprovechamiento de otros LLMs, enfoques de ajuste fino y una mayor integración con blockchain e IPFS.

Otros recursos que podrían interesarte

Temas Virtualpro