Análisis de Modelos de Lenguaje Grande para Informes Anuales de Empresas Basado en Generación Aumentada por Recuperación
Autores: Mokashi, Abhijit; Puthuparambil, Bennet; Daniel, Chaissy; Hanne, Thomas
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Análisis de Modelos de Lenguaje Grande para Informes Anuales de Empresas Basado en Generación Aumentada por Recuperación
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje
Generación aumentada por recuperación
Análisis de informes financieros
RAG
Rendimiento de LLM
Fuentes de conocimiento externas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los grandes modelos de lenguaje (LLMs) como ChatGPT-4 y Gemini 1.0 demuestran capacidades significativas de generación de texto, pero a menudo luchan con el conocimiento desactualizado, la especificidad del dominio y las alucinaciones. La Generación Aumentada por Recuperación (RAG) ofrece una solución prometedora al integrar fuentes de conocimiento externas para producir respuestas más precisas e informadas. Esta investigación investiga la efectividad de RAG en la mejora del rendimiento de LLM para el análisis de informes financieros. Examinamos cómo RAG y el diseño específico de los prompts mejoran la provisión de información financiera cualitativa y cuantitativa en términos de precisión, relevancia y verificabilidad. Empleando un enfoque de investigación en ciencia del diseño, comparamos las respuestas de ChatGPT-4 antes y después de la integración de RAG, utilizando informes anuales de diez empresas tecnológicas seleccionadas. Nuestros hallazgos demuestran que RAG mejora la relevancia y la verificabilidad de las salidas de LLM (en un 0.66 y 0.71, respectivamente, en una escala del 1 al 5), al tiempo que reduce respuestas irrelevantes o incorrectas. La especificidad del prompt se muestra como un factor crítico que impacta la calidad de la respuesta. Este estudio indica el potencial de RAG para mitigar los sesgos e inexactitudes de LLM, ofreciendo una solución práctica para generar información financiera confiable y contextualizada.
Descripción
Los grandes modelos de lenguaje (LLMs) como ChatGPT-4 y Gemini 1.0 demuestran capacidades significativas de generación de texto, pero a menudo luchan con el conocimiento desactualizado, la especificidad del dominio y las alucinaciones. La Generación Aumentada por Recuperación (RAG) ofrece una solución prometedora al integrar fuentes de conocimiento externas para producir respuestas más precisas e informadas. Esta investigación investiga la efectividad de RAG en la mejora del rendimiento de LLM para el análisis de informes financieros. Examinamos cómo RAG y el diseño específico de los prompts mejoran la provisión de información financiera cualitativa y cuantitativa en términos de precisión, relevancia y verificabilidad. Empleando un enfoque de investigación en ciencia del diseño, comparamos las respuestas de ChatGPT-4 antes y después de la integración de RAG, utilizando informes anuales de diez empresas tecnológicas seleccionadas. Nuestros hallazgos demuestran que RAG mejora la relevancia y la verificabilidad de las salidas de LLM (en un 0.66 y 0.71, respectivamente, en una escala del 1 al 5), al tiempo que reduce respuestas irrelevantes o incorrectas. La especificidad del prompt se muestra como un factor crítico que impacta la calidad de la respuesta. Este estudio indica el potencial de RAG para mitigar los sesgos e inexactitudes de LLM, ofreciendo una solución práctica para generar información financiera confiable y contextualizada.