FedRazor: Desaprendizaje Federado de Dos Etapas a través de la Divergencia de Representación y el Recorte de Conflictos de Gradiente
Autores: Hu, Yanxin; Liu, Xiaoman; Huang, Yan; Pang, Junjie; Cheng, Chao; Liu, Gang
Idioma: Inglés
Editor: MDPI
Año: 2026
Acceso abierto
Artículo científico
2026
FedRazor: Desaprendizaje Federado de Dos Etapas a través de la Divergencia de Representación y el Recorte de Conflictos de Gradiente
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Desaprendizaje federado
FedRazor
Desaprendizaje a nivel de cliente
Divergencia de representación
Control de dirección del gradiente
Registros de entrenamiento históricos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El aprendizaje federado de desaprendizaje elimina la influencia de un cliente de un modelo federado entrenado sin necesidad de un reentrenamiento completo, lo cual es requerido por las regulaciones de eliminación de datos, pero sigue siendo difícil debido al acoplamiento de gradientes y la inestabilidad de recuperación. Los métodos existentes a menudo dependen de registros de entrenamiento históricos o sufren una degradación severa de utilidad y revertimiento del modelo después de la recuperación. Proponemos FedRazor, un marco de desaprendizaje federado en dos etapas que logra un desaprendizaje estable a nivel de cliente a través de la divergencia de representación y el control de dirección de gradientes. En la Etapa I, FedRazor debilita la dependencia de los datos olvidados utilizando dos objetivos complementarios. Una Pérdida de Suavizado de Divergencia reduce la confianza de predicción en las etiquetas olvidadas, mientras que una pérdida de Divergencia de Media de Características aleja las representaciones olvidadas del centro de características retenido. Para proteger el rendimiento retenido, introducimos PCGrad Razor, que recorta los componentes de gradiente que entran en conflicto con los gradientes retenidos durante la agregación. Esta etapa produce un modelo intermedio no aprendido sin almacenar actualizaciones históricas. En la Etapa II, FedRazor restaura la utilidad retenida utilizando recorte de gradientes direccionales. Los gradientes alineados con la dirección de desplazamiento del desaprendizaje son eliminados, evitando que la información olvidada vuelva a ingresar al modelo durante la recuperación. Los experimentos en MNIST, CIFAR-10 y CIFAR-100 bajo configuraciones IID y no IID muestran que FedRazor reduce consistentemente la tasa de éxito de ataque a casi cero mientras preserva la precisión retenida. En CIFAR-10 Pat-50, FedRazor logra ASR = 0.026 con una precisión retenida de 0.659 después del post-entrenamiento, superando a bases sólidas en estabilidad y robustez de desaprendizaje.
Descripción
El aprendizaje federado de desaprendizaje elimina la influencia de un cliente de un modelo federado entrenado sin necesidad de un reentrenamiento completo, lo cual es requerido por las regulaciones de eliminación de datos, pero sigue siendo difícil debido al acoplamiento de gradientes y la inestabilidad de recuperación. Los métodos existentes a menudo dependen de registros de entrenamiento históricos o sufren una degradación severa de utilidad y revertimiento del modelo después de la recuperación. Proponemos FedRazor, un marco de desaprendizaje federado en dos etapas que logra un desaprendizaje estable a nivel de cliente a través de la divergencia de representación y el control de dirección de gradientes. En la Etapa I, FedRazor debilita la dependencia de los datos olvidados utilizando dos objetivos complementarios. Una Pérdida de Suavizado de Divergencia reduce la confianza de predicción en las etiquetas olvidadas, mientras que una pérdida de Divergencia de Media de Características aleja las representaciones olvidadas del centro de características retenido. Para proteger el rendimiento retenido, introducimos PCGrad Razor, que recorta los componentes de gradiente que entran en conflicto con los gradientes retenidos durante la agregación. Esta etapa produce un modelo intermedio no aprendido sin almacenar actualizaciones históricas. En la Etapa II, FedRazor restaura la utilidad retenida utilizando recorte de gradientes direccionales. Los gradientes alineados con la dirección de desplazamiento del desaprendizaje son eliminados, evitando que la información olvidada vuelva a ingresar al modelo durante la recuperación. Los experimentos en MNIST, CIFAR-10 y CIFAR-100 bajo configuraciones IID y no IID muestran que FedRazor reduce consistentemente la tasa de éxito de ataque a casi cero mientras preserva la precisión retenida. En CIFAR-10 Pat-50, FedRazor logra ASR = 0.026 con una precisión retenida de 0.659 después del post-entrenamiento, superando a bases sólidas en estabilidad y robustez de desaprendizaje.