Explorando el Comportamiento y el Rendimiento de los Modelos de Lenguaje Grandes: ¿Pueden los LLMs Inferir Respuestas a Preguntas que Involucran Información Restringida?
Autores: Cadena-Bautista, Ángel; López-Ponce, Francisco F.; Ojeda-Trueba, Sergio Luis; Sierra, Gerardo; Bel-Enguix, Gemma
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Explorando el Comportamiento y el Rendimiento de los Modelos de Lenguaje Grandes: ¿Pueden los LLMs Inferir Respuestas a Preguntas que Involucran Información Restringida?
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Varios
LLMs
Generación Aumentada por Recuperación
Sistema RAG
Español
Capacidades de razonamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
En este artículo se prueban varios LLM en un dominio específico utilizando un sistema de Generación Aumentada por Recuperación (RAG). El estudio se centra en el rendimiento y comportamiento de los modelos y se llevó a cabo en español. Se creó un cuestionario basado en La Biblia, que consiste en preguntas que varían en complejidad de razonamiento, con el fin de evaluar las capacidades de razonamiento de cada modelo. El sistema RAG empareja una pregunta con el pasaje más similar de La Biblia y alimenta el par a cada LLM. La evaluación tiene como objetivo determinar si cada modelo puede razonar únicamente con la información proporcionada o si ignora las instrucciones dadas y hace uso de su conocimiento preentrenado.
Descripción
En este artículo se prueban varios LLM en un dominio específico utilizando un sistema de Generación Aumentada por Recuperación (RAG). El estudio se centra en el rendimiento y comportamiento de los modelos y se llevó a cabo en español. Se creó un cuestionario basado en La Biblia, que consiste en preguntas que varían en complejidad de razonamiento, con el fin de evaluar las capacidades de razonamiento de cada modelo. El sistema RAG empareja una pregunta con el pasaje más similar de La Biblia y alimenta el par a cada LLM. La evaluación tiene como objetivo determinar si cada modelo puede razonar únicamente con la información proporcionada o si ignora las instrucciones dadas y hace uso de su conocimiento preentrenado.