PerFreezeClip: aprendizaje federado personalizado basado en recorte adaptativo
Autores: Zhang, Jianfei; Liu, Zhilin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
PerFreezeClip: aprendizaje federado personalizado basado en recorte adaptativo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Heterogeneidad de datos
Aprendizaje federado
Datos no IID
Aprendizaje federado personalizado
Algoritmo PerFreezeClip
Límites de recorte de gradientes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
El problema de la heterogeneidad de datos es uno de los principales desafíos que enfrenta el aprendizaje federado (FL). Los datos no IID suelen introducir sesgos en el proceso de entrenamiento de los modelos FL, lo que puede afectar la precisión y la velocidad de convergencia de los modelos. Con este fin, proponemos un algoritmo de aprendizaje federado personalizado (PFL) con ajuste dinámico adaptativo de los límites de recorte de gradientes y la idea de congelamiento para reducir la influencia de los datos no IID en el modelo, llamado PerFreezeClip. PerFreezeClip es una decisión de diseño con respecto a la arquitectura de los parámetros, comparando los modelos privados y federados. PerFreezeClip facilita el entrenamiento de cada dispositivo basado en un recorte de gradientes adaptativo durante el entrenamiento, con actualizaciones más racionales y gradientes más estables. Los resultados basados en los conjuntos de datos CIFAR-10 y CIFAR-100 muestran que el algoritmo propuesto PerFreezeClip proporciona una precisión de prueba más alta después de controlar el gradiente: un máximo de un 50% de mejora en comparación con los algoritmos de aprendizaje federado típicos (no personalizados).
Descripción
El problema de la heterogeneidad de datos es uno de los principales desafíos que enfrenta el aprendizaje federado (FL). Los datos no IID suelen introducir sesgos en el proceso de entrenamiento de los modelos FL, lo que puede afectar la precisión y la velocidad de convergencia de los modelos. Con este fin, proponemos un algoritmo de aprendizaje federado personalizado (PFL) con ajuste dinámico adaptativo de los límites de recorte de gradientes y la idea de congelamiento para reducir la influencia de los datos no IID en el modelo, llamado PerFreezeClip. PerFreezeClip es una decisión de diseño con respecto a la arquitectura de los parámetros, comparando los modelos privados y federados. PerFreezeClip facilita el entrenamiento de cada dispositivo basado en un recorte de gradientes adaptativo durante el entrenamiento, con actualizaciones más racionales y gradientes más estables. Los resultados basados en los conjuntos de datos CIFAR-10 y CIFAR-100 muestran que el algoritmo propuesto PerFreezeClip proporciona una precisión de prueba más alta después de controlar el gradiente: un máximo de un 50% de mejora en comparación con los algoritmos de aprendizaje federado típicos (no personalizados).