Contexto y capas en armonía: una estrategia unificada para mitigar las alucinaciones de LLM
Autores: Yu, Sangyeon; Kim, Gyunyeop; Kang, Sangwoo
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Contexto y capas en armonía: una estrategia unificada para mitigar las alucinaciones de LLM
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Modelos de lenguaje
Contenido alucinado
LACD
Distribuciones de probabilidad
Inyección de contexto
Consistencia factual
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Los modelos de lenguaje grandes, a pesar de su alto rendimiento, a menudo producen contenido alucinatorio debido a una excesiva dependencia del conocimiento pre-entrenado y una integración insuficiente del contexto recién proporcionado. Introducimos LACD, una técnica que reequilibra dinámicamente las distribuciones de probabilidad en todas las capas, asegurando que el contexto crítico no sea opacado. Al enfatizar la información nueva de la consulta, LACD alivia la dominancia de las capas inferiores y mitiga las alucinaciones. En el conjunto de datos HotPotQA, LACD supera a las líneas de base de inyección de contexto básico en aproximadamente un 2.2% en coincidencia exacta (EM) y coincide o supera métodos avanzados como DoLa y CAD. LACD también muestra mejoras sólidas en SQuAD, subrayando su capacidad para reducir las alucinaciones mientras mejora la consistencia factual. En general, estos hallazgos resaltan la importancia de integrar cuidadosamente el contexto recién proporcionado con el conocimiento pre-entrenado para lograr una generación de lenguaje más confiable.
Descripción
Los modelos de lenguaje grandes, a pesar de su alto rendimiento, a menudo producen contenido alucinatorio debido a una excesiva dependencia del conocimiento pre-entrenado y una integración insuficiente del contexto recién proporcionado. Introducimos LACD, una técnica que reequilibra dinámicamente las distribuciones de probabilidad en todas las capas, asegurando que el contexto crítico no sea opacado. Al enfatizar la información nueva de la consulta, LACD alivia la dominancia de las capas inferiores y mitiga las alucinaciones. En el conjunto de datos HotPotQA, LACD supera a las líneas de base de inyección de contexto básico en aproximadamente un 2.2% en coincidencia exacta (EM) y coincide o supera métodos avanzados como DoLa y CAD. LACD también muestra mejoras sólidas en SQuAD, subrayando su capacidad para reducir las alucinaciones mientras mejora la consistencia factual. En general, estos hallazgos resaltan la importancia de integrar cuidadosamente el contexto recién proporcionado con el conocimiento pre-entrenado para lograr una generación de lenguaje más confiable.