Diferential privacy-habilitado multi-party learning con estrategia de asignación de presupuesto de privacidad dinámico
Autores: Pan, Ke; Feng, Kaiyuan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Diferential privacy-habilitado multi-party learning con estrategia de asignación de presupuesto de privacidad dinámico
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje automático descentralizado
Aprendizaje de múltiples partes
Privacidad
Adversarios
Privacidad diferencial
Utilidad del modelo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Como uno de los paradigmas prometedores del aprendizaje automático descentralizado, el aprendizaje de múltiples partes ha atraído cada vez más atención, debido a su capacidad para evitar que la privacidad de los participantes se exponga directamente a los adversarios. El aprendizaje de múltiples partes permite a los participantes entrenar su modelo localmente sin subir datos privados a un servidor. Sin embargo, estudios recientes han demostrado que los adversarios pueden lanzar una serie de ataques a los modelos de aprendizaje y extraer información privada sobre los participantes mediante el análisis de los parámetros compartidos. Además, los enfoques de aprendizaje de múltiples partes que preservan la privacidad existentes consumen presupuestos de privacidad totales más altos, lo que plantea un desafío considerable para el compromiso entre las garantías de privacidad y la utilidad del modelo. Para abordar este problema, este documento explora un marco de aprendizaje de múltiples partes diferencialmente privado adaptativo, que incorpora la técnica de privacidad diferencial concentrada en cero en el aprendizaje de múltiples partes para eliminar las amenazas de privacidad y ofrecer resultados cuantitativos más precisos. Diseñamos además una estrategia de asignación de presupuesto de privacidad dinámica para aliviar la alta acumulación de presupuestos de privacidad totales y proporcionar mejores garantías de privacidad, sin comprometer la utilidad del modelo. Inyectamos más ruido en los parámetros del modelo en las primeras etapas del entrenamiento del modelo y reducimos gradualmente el volumen de ruido a medida que la dirección del descenso del gradiente se vuelve más precisa. El análisis teórico y los experimentos extensos en conjuntos de datos de referencia validaron que nuestro enfoque podría mejorar efectivamente el rendimiento del modelo con menos pérdida de privacidad.
Descripción
Como uno de los paradigmas prometedores del aprendizaje automático descentralizado, el aprendizaje de múltiples partes ha atraído cada vez más atención, debido a su capacidad para evitar que la privacidad de los participantes se exponga directamente a los adversarios. El aprendizaje de múltiples partes permite a los participantes entrenar su modelo localmente sin subir datos privados a un servidor. Sin embargo, estudios recientes han demostrado que los adversarios pueden lanzar una serie de ataques a los modelos de aprendizaje y extraer información privada sobre los participantes mediante el análisis de los parámetros compartidos. Además, los enfoques de aprendizaje de múltiples partes que preservan la privacidad existentes consumen presupuestos de privacidad totales más altos, lo que plantea un desafío considerable para el compromiso entre las garantías de privacidad y la utilidad del modelo. Para abordar este problema, este documento explora un marco de aprendizaje de múltiples partes diferencialmente privado adaptativo, que incorpora la técnica de privacidad diferencial concentrada en cero en el aprendizaje de múltiples partes para eliminar las amenazas de privacidad y ofrecer resultados cuantitativos más precisos. Diseñamos además una estrategia de asignación de presupuesto de privacidad dinámica para aliviar la alta acumulación de presupuestos de privacidad totales y proporcionar mejores garantías de privacidad, sin comprometer la utilidad del modelo. Inyectamos más ruido en los parámetros del modelo en las primeras etapas del entrenamiento del modelo y reducimos gradualmente el volumen de ruido a medida que la dirección del descenso del gradiente se vuelve más precisa. El análisis teórico y los experimentos extensos en conjuntos de datos de referencia validaron que nuestro enfoque podría mejorar efectivamente el rendimiento del modelo con menos pérdida de privacidad.