Convergence analysis for diferencial privado federado promedio en entornos heterogéneos
Autores: Li, Yiwei; Wang, Shuai; Wu, Qilong
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Convergence analysis for diferencial privado federado promedio en entornos heterogéneos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
Aprendizaje automático distribuido
Privacidad de datos
Privacidad diferencial
Datos no i.i.d.
Convergencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
El aprendizaje federado (FL) ha surgido como un enfoque prominente para el aprendizaje automático distribuido, permitiendo el entrenamiento colaborativo de modelos mientras se preserva la privacidad de los datos. Sin embargo, la presencia de datos no i.i.d. y la necesidad de una protección de privacidad robusta introducen desafíos significativos en el análisis teórico del rendimiento de los algoritmos de FL. En este documento, presentamos un nuevo análisis teórico sobre el promedio federado diferencialmente privado típico (DP-FedAvg) al considerar juiciosamente el impacto de los datos no i.i.d. en la convergencia y las garantías de privacidad. Nuestras contribuciones son triples: (i) Introducimos un marco teórico para analizar la convergencia del algoritmo DP-FedAvg considerando diferentes estrategias de muestreo de clientes y datos, amplificación de privacidad y datos no i.i.d. (ii) Exploramos el equilibrio entre privacidad y utilidad y demostramos cómo las estrategias de los clientes interactúan con la privacidad diferencial para afectar el rendimiento del aprendizaje. (iii) Proporcionamos una extensa validación experimental utilizando conjuntos de datos del mundo real para verificar nuestros hallazgos teóricos.
Descripción
El aprendizaje federado (FL) ha surgido como un enfoque prominente para el aprendizaje automático distribuido, permitiendo el entrenamiento colaborativo de modelos mientras se preserva la privacidad de los datos. Sin embargo, la presencia de datos no i.i.d. y la necesidad de una protección de privacidad robusta introducen desafíos significativos en el análisis teórico del rendimiento de los algoritmos de FL. En este documento, presentamos un nuevo análisis teórico sobre el promedio federado diferencialmente privado típico (DP-FedAvg) al considerar juiciosamente el impacto de los datos no i.i.d. en la convergencia y las garantías de privacidad. Nuestras contribuciones son triples: (i) Introducimos un marco teórico para analizar la convergencia del algoritmo DP-FedAvg considerando diferentes estrategias de muestreo de clientes y datos, amplificación de privacidad y datos no i.i.d. (ii) Exploramos el equilibrio entre privacidad y utilidad y demostramos cómo las estrategias de los clientes interactúan con la privacidad diferencial para afectar el rendimiento del aprendizaje. (iii) Proporcionamos una extensa validación experimental utilizando conjuntos de datos del mundo real para verificar nuestros hallazgos teóricos.