logo móvil
Contáctanos

Contexto y capas en armonía: una estrategia unificada para mitigar las alucinaciones de LLM

Autores: Yu, Sangyeon; Kim, Gyunyeop; Kang, Sangwoo

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Contexto y capas en armonía: una estrategia unificada para mitigar las alucinaciones de LLM


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Modelos de lenguaje
Contenido alucinado
LACD
Distribuciones de probabilidad
Inyección de contexto
Consistencia factual

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 25

Citaciones: Sin citaciones


Descripción
Los modelos de lenguaje grandes, a pesar de su alto rendimiento, a menudo producen contenido alucinatorio debido a una excesiva dependencia del conocimiento pre-entrenado y una integración insuficiente del contexto recién proporcionado. Introducimos LACD, una técnica que reequilibra dinámicamente las distribuciones de probabilidad en todas las capas, asegurando que el contexto crítico no sea opacado. Al enfatizar la información nueva de la consulta, LACD alivia la dominancia de las capas inferiores y mitiga las alucinaciones. En el conjunto de datos HotPotQA, LACD supera a las líneas de base de inyección de contexto básico en aproximadamente un 2.2% en coincidencia exacta (EM) y coincide o supera métodos avanzados como DoLa y CAD. LACD también muestra mejoras sólidas en SQuAD, subrayando su capacidad para reducir las alucinaciones mientras mejora la consistencia factual. En general, estos hallazgos resaltan la importancia de integrar cuidadosamente el contexto recién proporcionado con el conocimiento pre-entrenado para lograr una generación de lenguaje más confiable.

Otros recursos que podrían interesarte

Temas Virtualpro