La aprendizaje federado basado en ADMM simétrico con un paso relajado
Autores: Lu, Jinglei; Zhu, Ya; Dang, Yazheng
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
La aprendizaje federado basado en ADMM simétrico con un paso relajado
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
Algoritmos de admm
Eficiencia computacional
Pasos de actualización dual
Suposiciones paramétricas débiles
Eficiencia de comunicación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
El aprendizaje federado facilita el entrenamiento de modelos globales de manera distribuida sin requerir el intercambio de datos crudos. Este documento presenta dos novedosos algoritmos simétricos de Método de los Multiplicadores de Dirección Alternante (ADMM) para el aprendizaje federado. Los dos algoritmos utilizan una combinación convexa de variables locales y globales actuales para generar pasos relajados que mejoran la eficiencia computacional. También integran dos pasos de actualización dual con factores de relajación variables en el marco de ADMM para aumentar la precisión y la tasa de convergencia. Otra característica clave es el uso de suposiciones paramétricas débiles para mejorar la viabilidad computacional. Además, la actualización global en el segundo algoritmo ocurre solo en ciertos pasos (por ejemplo, en pasos que son múltiplos de un entero predefinido) para mejorar la eficiencia de comunicación. El análisis teórico demuestra una convergencia lineal bajo condiciones razonables, y los resultados experimentales confirman la superior convergencia y eficiencia mejorada de los algoritmos propuestos en comparación con metodologías existentes.
Descripción
El aprendizaje federado facilita el entrenamiento de modelos globales de manera distribuida sin requerir el intercambio de datos crudos. Este documento presenta dos novedosos algoritmos simétricos de Método de los Multiplicadores de Dirección Alternante (ADMM) para el aprendizaje federado. Los dos algoritmos utilizan una combinación convexa de variables locales y globales actuales para generar pasos relajados que mejoran la eficiencia computacional. También integran dos pasos de actualización dual con factores de relajación variables en el marco de ADMM para aumentar la precisión y la tasa de convergencia. Otra característica clave es el uso de suposiciones paramétricas débiles para mejorar la viabilidad computacional. Además, la actualización global en el segundo algoritmo ocurre solo en ciertos pasos (por ejemplo, en pasos que son múltiplos de un entero predefinido) para mejorar la eficiencia de comunicación. El análisis teórico demuestra una convergencia lineal bajo condiciones razonables, y los resultados experimentales confirman la superior convergencia y eficiencia mejorada de los algoritmos propuestos en comparación con metodologías existentes.