logo móvil
Contáctanos

Un nuevo algoritmo para el aprendizaje federado personalizado: destilación de conocimiento con pérdida de combinación ponderada

Autores: Hu, Hengrui; Kothari, Anai N.; Banerjee, Anjishnu

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Un nuevo algoritmo para el aprendizaje federado personalizado: destilación de conocimiento con pérdida de combinación ponderada


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Aprendizaje federado
Marco de preservación de la privacidad
Heterogeneidad estadística
No independiente e idénticamente distribuido
PFedKD-WCL
Destilación de conocimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
El aprendizaje federado (FL) ofrece un marco de preservación de la privacidad para el aprendizaje automático distribuido, permitiendo el entrenamiento colaborativo de modelos entre clientes diversos sin centralizar datos sensibles. Sin embargo, la heterogeneidad estadística, caracterizada por datos de clientes no independientes e idénticamente distribuidos (no-IID), plantea desafíos significativos, lo que lleva a la deriva del modelo y a una mala generalización. Este documento propone un algoritmo novedoso, pFedKD-WCL (Destilación de Conocimiento Federado Personalizado con Pérdida de Combinación Ponderada), que integra la destilación de conocimiento con la optimización de dos niveles para abordar los desafíos no-IID. pFedKD-WCL aprovecha el modelo global actual como profesor para guiar a los modelos locales, optimizando tanto la convergencia global como la personalización local de manera eficiente. Evaluamos pFedKD-WCL en el conjunto de datos MNIST y en un conjunto de datos sintético con particionamiento no-IID, utilizando modelos de regresión logística multinomial (MLR) y perceptrón multicapa (MLP). Los resultados experimentales demuestran que pFedKD-WCL supera a algoritmos de última generación, incluidos FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD en términos de precisión y velocidad de convergencia. Por ejemplo, en datos de MNIST con una configuración no-IID extrema, pFedKD-WCL logra mejoras de precisión de , , , , y para un modelo MLP con 50 clientes en comparación con FedAvg, FedProx, PerFedAvg, pFedMe y FedGKD, respectivamente, mientras que las ganancias alcanzan , , , , y para un modelo MLR con 50 clientes.

Otros recursos que podrían interesarte

Temas Virtualpro