logo móvil
Contáctanos

Comunicación eficiente de optimización adaptativa de orden cero para el aprendizaje federado

Autores: Xie, Ping; Gao, Xiangrui; Li, Fan; Xing, Ling; Zhang, Yu; Sun, Hanxiao

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Comunicación eficiente de optimización adaptativa de orden cero para el aprendizaje federado


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Aprendizaje federado
FedAvg
Algoritmo de aprendizaje federado adaptativo de orden cero
ZO-AdaFL
Información de gradientes
Comportamiento de convergencia

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 23

Citaciones: Sin citaciones


Descripción
El aprendizaje federado se ha convertido en un paradigma de entrenamiento distribuido prevalente, en el cual los dispositivos locales entrenan colaborativamente modelos de aprendizaje sin intercambiar datos locales. Uno de los marcos más dominantes de aprendizaje federado (FL) es FedAvg, ya que es eficiente y simple de implementar; aquí, la información de primer orden se utiliza generalmente para entrenar los parámetros de los modelos de aprendizaje. Sin embargo, en la práctica, la información del gradiente puede no estar disponible o ser inviable en algunas aplicaciones, como en problemas de optimización federada de caja negra. Para resolver el problema, proponemos un algoritmo innovador de aprendizaje federado adaptativo de orden cero sin utilizar la información del gradiente, denominado ZO-AdaFL, que integra el algoritmo de optimización de orden cero en el método del gradiente adaptativo. Además, también analizamos rigurosamente el comportamiento de convergencia de ZO-AdaFL en un entorno no convexo, es decir, donde ZO-AdaFL logra converger a una región cercana a un punto estacionario a una velocidad de (representa el número total de iteraciones). Finalmente, para verificar el rendimiento de ZO-AdaFL, se realizan experimentos de simulación utilizando los conjuntos de datos MNIST y FMNIST. Nuestros hallazgos experimentales demuestran que ZO-AdaFL supera a otros enfoques de aprendizaje federado de orden cero de última generación en términos de efectividad y eficiencia.

Otros recursos que podrían interesarte

Temas Virtualpro