logo móvil
Contáctanos

Generalized federated learning a través de minimización consciente de la norma del gradiente y variables de control

Autores: Xu, Yicheng; Ma, Wubin; Dai, Chaofan; Wu, Yahui; Zhou, Haohao

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Generalized federated learning a través de minimización consciente de la norma del gradiente y variables de control


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje federado
Protección de la privacidad
Desviación del cliente
Datos no IID
FedGAM
Minimización Consciente de la Norma del Gradiente

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 25

Citaciones: Sin citaciones


Descripción
El Aprendizaje Federado (FL) es un marco prometedor de aprendizaje automático distribuido que enfatiza la protección de la privacidad. Sin embargo, las inconsistencias entre los objetivos de optimización locales y el objetivo global, comúnmente conocido como deriva del cliente, surgen principalmente debido a datos no independientes e idénticamente distribuidos (No-IID), múltiples pasos de entrenamiento locales y la participación parcial del cliente en el entrenamiento. La mayoría de la investigación actual que aborda este desafío se basa principalmente en el principio de minimización del riesgo empírico (ERM), sin prestar mucha atención a la conexión entre el paisaje de pérdida global y la capacidad de generalización. Este estudio propone FedGAM, un algoritmo innovador de FL que incorpora la Minimización Consciente de la Norma del Gradiente (GAM) para buscar eficientemente un paisaje local plano. FedGAM modifica específicamente el objetivo de entrenamiento del modelo del cliente para minimizar simultáneamente el valor de pérdida y la planitud de primer orden, buscando así mínimos planos. Para suavizar directamente la planitud global, proponemos el más significativo FedGAM-CV, que emplea variables de control para corregir las actualizaciones locales, guiando a cada cliente para entrenar modelos en una dirección globalmente plana. Los experimentos en tres conjuntos de datos (CIFAR-10, MNIST y FashionMNIST) demuestran que nuestros algoritmos propuestos superan a las líneas de base de FL existentes, encontrando eficazmente mínimos planos y abordando el problema de deriva del cliente.

Otros recursos que podrían interesarte

Temas Virtualpro