logo móvil
Contáctanos

Un método de gradiente adaptativo incorporado de derivados para el aprendizaje federado

Autores: Gao, Huimin; Wu, Qingtao; Cao, Hongyan; Zhao, Xuhui; Zhu, Junlong; Zhang, Mingchuan

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un método de gradiente adaptativo incorporado de derivados para el aprendizaje federado


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Técnica de aprendizaje automático
Aprendizaje federado
Entrenamiento de modelos descentralizados
Algoritmos
Descenso de gradiente estocástico
Optimización federada adaptativa

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 29

Citaciones: Sin citaciones


Descripción
Como una nueva técnica de aprendizaje automático, el aprendizaje federado ha recibido más atención en los últimos años, lo que permite el entrenamiento descentralizado de modelos a través de silos de datos o dispositivos inteligentes en el borde en Internet de las cosas sin intercambiar datos brutos locales. Se han propuesto todo tipo de algoritmos para resolver los desafíos en el aprendizaje federado. Sin embargo, la mayoría de estos métodos se basan en el descenso de gradiente estocástico, que experimenta una convergencia lenta y un rendimiento inestable durante la etapa de entrenamiento. En este documento, proponemos un método de optimización federada adaptativa diferencial, que incorpora una tasa de aprendizaje adaptativa y la diferencia de gradientes en la regla de iteración del modelo global. Además, adoptamos la estimación del momento de primer orden para calcular el valor aproximado del término diferencial para evitar amplificar el ruido aleatorio de la muestra de datos de entrada. Se establece una garantía de convergencia teórica para nuestro método propuesto en un entorno estocástico no convexo bajo casos de participación completa y parcial de clientes. Se realizan experimentos para la tarea de clasificación de imágenes en dos conjuntos de datos estándar mediante el entrenamiento de un modelo de red neuronal, y los resultados experimentales en diferentes líneas base demuestran la efectividad de nuestro método propuesto.

Otros recursos que podrían interesarte

Temas Virtualpro