Un algoritmo de agregación de aprendizaje federado de alto rendimiento basado en ajuste de tasa de aprendizaje y muestreo de clientes
Autores: Gao, Yulian; Lu, Gehao; Gao, Jimei; Li, Jinggang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un algoritmo de agregación de aprendizaje federado de alto rendimiento basado en ajuste de tasa de aprendizaje y muestreo de clientes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
Algoritmos
Agregación
Muestreo de clientes
Convergencia
Costos de comunicación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
El aprendizaje federado es un marco de aprendizaje distribuido diseñado para proteger la privacidad del usuario, ampliamente aplicado en varios dominios. Sin embargo, los algoritmos existentes de aprendizaje federado enfrentan desafíos, incluyendo una convergencia lenta, fluctuaciones significativas en la pérdida durante la agregación y un muestreo de clientes desequilibrado. Para abordar estos problemas, este artículo introduce un algoritmo de agregación de aprendizaje federado de alto rendimiento. Este algoritmo combina una estrategia de ajuste de tasa de aprendizaje adaptativa cíclica con un muestreo aleatorio ponderado por cliente, abordando los problemas mencionados anteriormente. El muestreo aleatorio ponderado asigna pesos a los clientes basados en su frecuencia de muestreo, equilibrando las tasas de muestreo de clientes y contribuciones para mejorar la agregación del modelo. Además, adapta la tasa de aprendizaje en función de las variaciones de pérdida del cliente y las rondas de comunicación, acelerando la convergencia del modelo y reduciendo los costos de comunicación. Para evaluar este algoritmo de alto rendimiento, se realizan experimentos utilizando conjuntos de datos conocidos MNIST y CIFAR-10. Los resultados muestran mejoras significativas en la velocidad de convergencia y la estabilidad de la pérdida. En comparación con los algoritmos tradicionales de aprendizaje federado, nuestro enfoque logra una convergencia más rápida y estable, reduciendo efectivamente los costos de entrenamiento.
Descripción
El aprendizaje federado es un marco de aprendizaje distribuido diseñado para proteger la privacidad del usuario, ampliamente aplicado en varios dominios. Sin embargo, los algoritmos existentes de aprendizaje federado enfrentan desafíos, incluyendo una convergencia lenta, fluctuaciones significativas en la pérdida durante la agregación y un muestreo de clientes desequilibrado. Para abordar estos problemas, este artículo introduce un algoritmo de agregación de aprendizaje federado de alto rendimiento. Este algoritmo combina una estrategia de ajuste de tasa de aprendizaje adaptativa cíclica con un muestreo aleatorio ponderado por cliente, abordando los problemas mencionados anteriormente. El muestreo aleatorio ponderado asigna pesos a los clientes basados en su frecuencia de muestreo, equilibrando las tasas de muestreo de clientes y contribuciones para mejorar la agregación del modelo. Además, adapta la tasa de aprendizaje en función de las variaciones de pérdida del cliente y las rondas de comunicación, acelerando la convergencia del modelo y reduciendo los costos de comunicación. Para evaluar este algoritmo de alto rendimiento, se realizan experimentos utilizando conjuntos de datos conocidos MNIST y CIFAR-10. Los resultados muestran mejoras significativas en la velocidad de convergencia y la estabilidad de la pérdida. En comparación con los algoritmos tradicionales de aprendizaje federado, nuestro enfoque logra una convergencia más rápida y estable, reduciendo efectivamente los costos de entrenamiento.