Generalized federated learning a través de minimización consciente de la norma del gradiente y variables de control
Autores: Xu, Yicheng; Ma, Wubin; Dai, Chaofan; Wu, Yahui; Zhou, Haohao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Generalized federated learning a través de minimización consciente de la norma del gradiente y variables de control
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
Protección de la privacidad
Desviación del cliente
Datos no IID
FedGAM
Minimización Consciente de la Norma del Gradiente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
El Aprendizaje Federado (FL) es un marco prometedor de aprendizaje automático distribuido que enfatiza la protección de la privacidad. Sin embargo, las inconsistencias entre los objetivos de optimización locales y el objetivo global, comúnmente conocido como deriva del cliente, surgen principalmente debido a datos no independientes e idénticamente distribuidos (No-IID), múltiples pasos de entrenamiento locales y la participación parcial del cliente en el entrenamiento. La mayoría de la investigación actual que aborda este desafío se basa principalmente en el principio de minimización del riesgo empírico (ERM), sin prestar mucha atención a la conexión entre el paisaje de pérdida global y la capacidad de generalización. Este estudio propone FedGAM, un algoritmo innovador de FL que incorpora la Minimización Consciente de la Norma del Gradiente (GAM) para buscar eficientemente un paisaje local plano. FedGAM modifica específicamente el objetivo de entrenamiento del modelo del cliente para minimizar simultáneamente el valor de pérdida y la planitud de primer orden, buscando así mínimos planos. Para suavizar directamente la planitud global, proponemos el más significativo FedGAM-CV, que emplea variables de control para corregir las actualizaciones locales, guiando a cada cliente para entrenar modelos en una dirección globalmente plana. Los experimentos en tres conjuntos de datos (CIFAR-10, MNIST y FashionMNIST) demuestran que nuestros algoritmos propuestos superan a las líneas de base de FL existentes, encontrando eficazmente mínimos planos y abordando el problema de deriva del cliente.
Descripción
El Aprendizaje Federado (FL) es un marco prometedor de aprendizaje automático distribuido que enfatiza la protección de la privacidad. Sin embargo, las inconsistencias entre los objetivos de optimización locales y el objetivo global, comúnmente conocido como deriva del cliente, surgen principalmente debido a datos no independientes e idénticamente distribuidos (No-IID), múltiples pasos de entrenamiento locales y la participación parcial del cliente en el entrenamiento. La mayoría de la investigación actual que aborda este desafío se basa principalmente en el principio de minimización del riesgo empírico (ERM), sin prestar mucha atención a la conexión entre el paisaje de pérdida global y la capacidad de generalización. Este estudio propone FedGAM, un algoritmo innovador de FL que incorpora la Minimización Consciente de la Norma del Gradiente (GAM) para buscar eficientemente un paisaje local plano. FedGAM modifica específicamente el objetivo de entrenamiento del modelo del cliente para minimizar simultáneamente el valor de pérdida y la planitud de primer orden, buscando así mínimos planos. Para suavizar directamente la planitud global, proponemos el más significativo FedGAM-CV, que emplea variables de control para corregir las actualizaciones locales, guiando a cada cliente para entrenar modelos en una dirección globalmente plana. Los experimentos en tres conjuntos de datos (CIFAR-10, MNIST y FashionMNIST) demuestran que nuestros algoritmos propuestos superan a las líneas de base de FL existentes, encontrando eficazmente mínimos planos y abordando el problema de deriva del cliente.