Comunicación eficiente de optimización adaptativa de orden cero para el aprendizaje federado
Autores: Xie, Ping; Gao, Xiangrui; Li, Fan; Xing, Ling; Zhang, Yu; Sun, Hanxiao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Comunicación eficiente de optimización adaptativa de orden cero para el aprendizaje federado
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
FedAvg
Algoritmo de aprendizaje federado adaptativo de orden cero
ZO-AdaFL
Información de gradientes
Comportamiento de convergencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
El aprendizaje federado se ha convertido en un paradigma de entrenamiento distribuido prevalente, en el cual los dispositivos locales entrenan colaborativamente modelos de aprendizaje sin intercambiar datos locales. Uno de los marcos más dominantes de aprendizaje federado (FL) es FedAvg, ya que es eficiente y simple de implementar; aquí, la información de primer orden se utiliza generalmente para entrenar los parámetros de los modelos de aprendizaje. Sin embargo, en la práctica, la información del gradiente puede no estar disponible o ser inviable en algunas aplicaciones, como en problemas de optimización federada de caja negra. Para resolver el problema, proponemos un algoritmo innovador de aprendizaje federado adaptativo de orden cero sin utilizar la información del gradiente, denominado ZO-AdaFL, que integra el algoritmo de optimización de orden cero en el método del gradiente adaptativo. Además, también analizamos rigurosamente el comportamiento de convergencia de ZO-AdaFL en un entorno no convexo, es decir, donde ZO-AdaFL logra converger a una región cercana a un punto estacionario a una velocidad de (representa el número total de iteraciones). Finalmente, para verificar el rendimiento de ZO-AdaFL, se realizan experimentos de simulación utilizando los conjuntos de datos MNIST y FMNIST. Nuestros hallazgos experimentales demuestran que ZO-AdaFL supera a otros enfoques de aprendizaje federado de orden cero de última generación en términos de efectividad y eficiencia.
Descripción
El aprendizaje federado se ha convertido en un paradigma de entrenamiento distribuido prevalente, en el cual los dispositivos locales entrenan colaborativamente modelos de aprendizaje sin intercambiar datos locales. Uno de los marcos más dominantes de aprendizaje federado (FL) es FedAvg, ya que es eficiente y simple de implementar; aquí, la información de primer orden se utiliza generalmente para entrenar los parámetros de los modelos de aprendizaje. Sin embargo, en la práctica, la información del gradiente puede no estar disponible o ser inviable en algunas aplicaciones, como en problemas de optimización federada de caja negra. Para resolver el problema, proponemos un algoritmo innovador de aprendizaje federado adaptativo de orden cero sin utilizar la información del gradiente, denominado ZO-AdaFL, que integra el algoritmo de optimización de orden cero en el método del gradiente adaptativo. Además, también analizamos rigurosamente el comportamiento de convergencia de ZO-AdaFL en un entorno no convexo, es decir, donde ZO-AdaFL logra converger a una región cercana a un punto estacionario a una velocidad de (representa el número total de iteraciones). Finalmente, para verificar el rendimiento de ZO-AdaFL, se realizan experimentos de simulación utilizando los conjuntos de datos MNIST y FMNIST. Nuestros hallazgos experimentales demuestran que ZO-AdaFL supera a otros enfoques de aprendizaje federado de orden cero de última generación en términos de efectividad y eficiencia.