RNEP: emparejamiento de entropía de nodos aleatorios para un entrenamiento descentralizado eficiente con datos locales no IID
Autores: Kang, Jo-In; Lee, Seong-Won
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
RNEP: emparejamiento de entropía de nodos aleatorios para un entrenamiento descentralizado eficiente con datos locales no IID
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Proliferación
Dispositivos periféricos
Tecnología de Internet de las cosas
Fuentes de datos distribuidas
Modelos de aprendizaje automático
Costos de comunicación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
La proliferación de dispositivos periféricos y los avances en la tecnología de Internet de las cosas han creado una amplia gama de fuentes de datos distribuidas, lo que hace necesario contar con modelos de aprendizaje automático que puedan operar más cerca del punto de generación de datos. Los enfoques tradicionales de aprendizaje automático centralizado a menudo tienen dificultades con las aplicaciones de datos en tiempo real, como la predicción del clima y la simulación del tráfico, debido a los altos costos de comunicación. En este estudio, presentamos el emparejamiento de entropía de nodos aleatorios, un nuevo método de aprendizaje distribuido para redes neuronales artificiales adaptado a entornos de computación distribuida. Este método reduce la sobrecarga de comunicación y aborda el desequilibrio de datos al permitir que los nodos intercambien solo los pesos de sus modelos locales con pares seleccionados al azar durante cada ronda de comunicación, en lugar de compartir todo el conjunto de datos. Nuestros hallazgos indican que este enfoque reduce significativamente los costos de comunicación manteniendo la precisión, incluso al aprender de datos locales no IID. Además, exploramos estrategias de aprendizaje adicionales que mejoran la precisión del sistema aprovechando las características de este método. Los resultados demuestran que el emparejamiento de entropía de nodos aleatorios es una solución efectiva y eficiente para el aprendizaje distribuido en entornos donde los costos de comunicación y la distribución de datos presentan desafíos significativos.
Descripción
La proliferación de dispositivos periféricos y los avances en la tecnología de Internet de las cosas han creado una amplia gama de fuentes de datos distribuidas, lo que hace necesario contar con modelos de aprendizaje automático que puedan operar más cerca del punto de generación de datos. Los enfoques tradicionales de aprendizaje automático centralizado a menudo tienen dificultades con las aplicaciones de datos en tiempo real, como la predicción del clima y la simulación del tráfico, debido a los altos costos de comunicación. En este estudio, presentamos el emparejamiento de entropía de nodos aleatorios, un nuevo método de aprendizaje distribuido para redes neuronales artificiales adaptado a entornos de computación distribuida. Este método reduce la sobrecarga de comunicación y aborda el desequilibrio de datos al permitir que los nodos intercambien solo los pesos de sus modelos locales con pares seleccionados al azar durante cada ronda de comunicación, en lugar de compartir todo el conjunto de datos. Nuestros hallazgos indican que este enfoque reduce significativamente los costos de comunicación manteniendo la precisión, incluso al aprender de datos locales no IID. Además, exploramos estrategias de aprendizaje adicionales que mejoran la precisión del sistema aprovechando las características de este método. Los resultados demuestran que el emparejamiento de entropía de nodos aleatorios es una solución efectiva y eficiente para el aprendizaje distribuido en entornos donde los costos de comunicación y la distribución de datos presentan desafíos significativos.