Un marco de aprendizaje activo semi-federado para datos de red en línea sin etiquetar
Autores: Zhou, Yuwen; Hu, Yuhan; Sun, Jing; He, Rui; Kang, Wenjie
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un marco de aprendizaje activo semi-federado para datos de red en línea sin etiquetar
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje federado
Nodos de cliente
Nodo de servidor
Privacidad de datos
Datos no etiquetados
Datos no IID
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
El Aprendizaje Federado (FL) es una técnica de optimización federada recientemente surgida para datos distribuidos en una red federada. Los participantes en FL que entrenan el modelo localmente se clasifican en nodos cliente. El nodo servidor asume la responsabilidad de agregar modelos locales de nodos cliente sin mover datos. En este sentido, FL es una solución ideal para proteger la privacidad de los datos en cada nodo de la red. Sin embargo, los datos crudos generados en cada nodo no están etiquetados, lo que hace imposible que FL aplique estos datos directamente para entrenar un modelo. El gran volumen de trabajo de anotación de datos impide que FL se aplique ampliamente en el mundo real, especialmente para escenarios en línea, donde los datos se generan continuamente. Mientras tanto, los datos generados en diferentes nodos tienden a estar distribuidos de manera diferente. Se ha demostrado teórica y experimentalmente que los datos no independientes e idénticamente distribuidos (no-IID) perjudican el rendimiento de FL. En este artículo, diseñamos un marco de Aprendizaje Activo Semifederado (semi-FAL) para abordar conjuntamente los problemas de anotación y no-IID. Más específicamente, el nodo servidor puede proporcionar (i) un modelo pre-entrenado para ayudar a cada nodo cliente a anotar los datos locales de manera uniforme y (ii) una estimación del gradiente global para corregir el gradiente local. Los resultados de la evaluación demuestran que nuestro marco semi-FAL puede manejar eficientemente datos de red en línea no etiquetados y lograr una alta precisión y una rápida convergencia.
Descripción
El Aprendizaje Federado (FL) es una técnica de optimización federada recientemente surgida para datos distribuidos en una red federada. Los participantes en FL que entrenan el modelo localmente se clasifican en nodos cliente. El nodo servidor asume la responsabilidad de agregar modelos locales de nodos cliente sin mover datos. En este sentido, FL es una solución ideal para proteger la privacidad de los datos en cada nodo de la red. Sin embargo, los datos crudos generados en cada nodo no están etiquetados, lo que hace imposible que FL aplique estos datos directamente para entrenar un modelo. El gran volumen de trabajo de anotación de datos impide que FL se aplique ampliamente en el mundo real, especialmente para escenarios en línea, donde los datos se generan continuamente. Mientras tanto, los datos generados en diferentes nodos tienden a estar distribuidos de manera diferente. Se ha demostrado teórica y experimentalmente que los datos no independientes e idénticamente distribuidos (no-IID) perjudican el rendimiento de FL. En este artículo, diseñamos un marco de Aprendizaje Activo Semifederado (semi-FAL) para abordar conjuntamente los problemas de anotación y no-IID. Más específicamente, el nodo servidor puede proporcionar (i) un modelo pre-entrenado para ayudar a cada nodo cliente a anotar los datos locales de manera uniforme y (ii) una estimación del gradiente global para corregir el gradiente local. Los resultados de la evaluación demuestran que nuestro marco semi-FAL puede manejar eficientemente datos de red en línea no etiquetados y lograr una alta precisión y una rápida convergencia.