Un Marco Unificado de Gestión del Conocimiento para el Aprendizaje Continuo y el Desaprendizaje de Máquinas en Modelos de Lenguaje Grande
Autores: Lang, Jiaqi; Li, Linjing; Zeng, Dajun
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
Un Marco Unificado de Gestión del Conocimiento para el Aprendizaje Continuo y el Desaprendizaje de Máquinas en Modelos de Lenguaje Grande
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Modelos de lenguaje grandes
Aprendizaje continuo
Mecanismos de desaprendizaje automático
Marco de gestión del conocimiento
Mecanismo de evolución de parámetros controlado por retención
Principio de diseño consciente del cambio.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los modelos de lenguaje grandes (LLMs) se están implementando cada vez más como sistemas de información que evolucionan con el tiempo, donde la gestión del conocimiento interno, la adquisición, la retención y la eliminación se vuelve esencial. En la práctica, estos procesos se realizan principalmente a través de mecanismos de aprendizaje continuo y desaprendizaje automático. A pesar de esto, estos dos mecanismos a menudo se estudian de forma aislada, limitando tanto la interpretabilidad como la controlabilidad. En este trabajo, presentamos un marco de gestión del conocimiento eficiente en parámetros donde el aprendizaje continuo y el desaprendizaje automático, a pesar de emplear objetivos específicos de tareas distintas, se integran a través de un mecanismo compartido de evolución de parámetros controlados por la retención. Fundamentamos estas restricciones estructurales en un principio de diseño consciente del cambio: bajo una suposición de suavidad del modelo, establecemos un límite superior formal que muestra que la divergencia de Kullback-Leibler (KL) sobre el conocimiento retenido está controlada por la magnitud y dirección de las actualizaciones de parámetros, proporcionando una justificación fundamentada para combinar la adaptación de bajo rango (LoRA) con congelación, enmascaramiento escaso y proyección de gradiente ortogonal en un sistema de restricciones unificado. Los experimentos en el benchmark de la Tarea de Desaprendizaje Ficticio (TOFU) y en benchmarks del mundo real demuestran una adquisición de conocimiento efectiva, eliminación selectiva y retención robusta a través de tareas secuenciales con un fuerte rendimiento y estabilidad general. Este trabajo proporciona una receta práctica eficiente en parámetros y un principio de diseño consciente del cambio validado en benchmarks intercalados controlados, ofreciendo perspectivas hacia una gestión del conocimiento confiable en escenarios de implementación en evolución.
Descripción
Los modelos de lenguaje grandes (LLMs) se están implementando cada vez más como sistemas de información que evolucionan con el tiempo, donde la gestión del conocimiento interno, la adquisición, la retención y la eliminación se vuelve esencial. En la práctica, estos procesos se realizan principalmente a través de mecanismos de aprendizaje continuo y desaprendizaje automático. A pesar de esto, estos dos mecanismos a menudo se estudian de forma aislada, limitando tanto la interpretabilidad como la controlabilidad. En este trabajo, presentamos un marco de gestión del conocimiento eficiente en parámetros donde el aprendizaje continuo y el desaprendizaje automático, a pesar de emplear objetivos específicos de tareas distintas, se integran a través de un mecanismo compartido de evolución de parámetros controlados por la retención. Fundamentamos estas restricciones estructurales en un principio de diseño consciente del cambio: bajo una suposición de suavidad del modelo, establecemos un límite superior formal que muestra que la divergencia de Kullback-Leibler (KL) sobre el conocimiento retenido está controlada por la magnitud y dirección de las actualizaciones de parámetros, proporcionando una justificación fundamentada para combinar la adaptación de bajo rango (LoRA) con congelación, enmascaramiento escaso y proyección de gradiente ortogonal en un sistema de restricciones unificado. Los experimentos en el benchmark de la Tarea de Desaprendizaje Ficticio (TOFU) y en benchmarks del mundo real demuestran una adquisición de conocimiento efectiva, eliminación selectiva y retención robusta a través de tareas secuenciales con un fuerte rendimiento y estabilidad general. Este trabajo proporciona una receta práctica eficiente en parámetros y un principio de diseño consciente del cambio validado en benchmarks intercalados controlados, ofreciendo perspectivas hacia una gestión del conocimiento confiable en escenarios de implementación en evolución.