logo móvil
Contáctanos

Un Marco Unificado de Gestión del Conocimiento para el Aprendizaje Continuo y el Desaprendizaje de Máquinas en Modelos de Lenguaje Grande

Autores: Lang, Jiaqi; Li, Linjing; Zeng, Dajun

Idioma: Inglés

Editor: MDPI

Año: 2026

Descargar PDF

Acceso abierto

Artículo científico
2026

Un Marco Unificado de Gestión del Conocimiento para el Aprendizaje Continuo y el Desaprendizaje de Máquinas en Modelos de Lenguaje Grande


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Modelos de lenguaje grandes
Aprendizaje continuo
Mecanismos de desaprendizaje automático
Marco de gestión del conocimiento
Mecanismo de evolución de parámetros controlado por retención
Principio de diseño consciente del cambio.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Los modelos de lenguaje grandes (LLMs) se están implementando cada vez más como sistemas de información que evolucionan con el tiempo, donde la gestión del conocimiento interno, la adquisición, la retención y la eliminación se vuelve esencial. En la práctica, estos procesos se realizan principalmente a través de mecanismos de aprendizaje continuo y desaprendizaje automático. A pesar de esto, estos dos mecanismos a menudo se estudian de forma aislada, limitando tanto la interpretabilidad como la controlabilidad. En este trabajo, presentamos un marco de gestión del conocimiento eficiente en parámetros donde el aprendizaje continuo y el desaprendizaje automático, a pesar de emplear objetivos específicos de tareas distintas, se integran a través de un mecanismo compartido de evolución de parámetros controlados por la retención. Fundamentamos estas restricciones estructurales en un principio de diseño consciente del cambio: bajo una suposición de suavidad del modelo, establecemos un límite superior formal que muestra que la divergencia de Kullback-Leibler (KL) sobre el conocimiento retenido está controlada por la magnitud y dirección de las actualizaciones de parámetros, proporcionando una justificación fundamentada para combinar la adaptación de bajo rango (LoRA) con congelación, enmascaramiento escaso y proyección de gradiente ortogonal en un sistema de restricciones unificado. Los experimentos en el benchmark de la Tarea de Desaprendizaje Ficticio (TOFU) y en benchmarks del mundo real demuestran una adquisición de conocimiento efectiva, eliminación selectiva y retención robusta a través de tareas secuenciales con un fuerte rendimiento y estabilidad general. Este trabajo proporciona una receta práctica eficiente en parámetros y un principio de diseño consciente del cambio validado en benchmarks intercalados controlados, ofreciendo perspectivas hacia una gestión del conocimiento confiable en escenarios de implementación en evolución.

Otros recursos que podrían interesarte

Temas Virtualpro