logo móvil
Contáctanos

RNEP: emparejamiento de entropía de nodos aleatorios para un entrenamiento descentralizado eficiente con datos locales no IID

Autores: Kang, Jo-In; Lee, Seong-Won

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

RNEP: emparejamiento de entropía de nodos aleatorios para un entrenamiento descentralizado eficiente con datos locales no IID


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Proliferación
Dispositivos periféricos
Tecnología de Internet de las cosas
Fuentes de datos distribuidas
Modelos de aprendizaje automático
Costos de comunicación

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 37

Citaciones: Sin citaciones


Descripción
La proliferación de dispositivos periféricos y los avances en la tecnología de Internet de las cosas han creado una amplia gama de fuentes de datos distribuidas, lo que hace necesario contar con modelos de aprendizaje automático que puedan operar más cerca del punto de generación de datos. Los enfoques tradicionales de aprendizaje automático centralizado a menudo tienen dificultades con las aplicaciones de datos en tiempo real, como la predicción del clima y la simulación del tráfico, debido a los altos costos de comunicación. En este estudio, presentamos el emparejamiento de entropía de nodos aleatorios, un nuevo método de aprendizaje distribuido para redes neuronales artificiales adaptado a entornos de computación distribuida. Este método reduce la sobrecarga de comunicación y aborda el desequilibrio de datos al permitir que los nodos intercambien solo los pesos de sus modelos locales con pares seleccionados al azar durante cada ronda de comunicación, en lugar de compartir todo el conjunto de datos. Nuestros hallazgos indican que este enfoque reduce significativamente los costos de comunicación manteniendo la precisión, incluso al aprender de datos locales no IID. Además, exploramos estrategias de aprendizaje adicionales que mejoran la precisión del sistema aprovechando las características de este método. Los resultados demuestran que el emparejamiento de entropía de nodos aleatorios es una solución efectiva y eficiente para el aprendizaje distribuido en entornos donde los costos de comunicación y la distribución de datos presentan desafíos significativos.

Otros recursos que podrían interesarte

Temas Virtualpro