Near-data source graph partitioning
Autores: Chang, Furong; Guo, Hao; Ullah, Farhan; Wang, Haochen; Zhao, Yue; Zhang, Haitian
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Near-data source graph partitioning
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Enfoques de partición de gráficos
Computación distribuida
Sobrecarga de comunicación
Escalabilidad
Rendimiento
NDGP
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
Recientemente, se han propuesto numerosos enfoques de partición de grafos para distribuir un gran grafo a máquinas en un clúster para cómputo distribuido. Debido a la alta sobrecarga de comunicación, estos enfoques de partición de grafos siempre han sufrido de largos tiempos de ingreso. Además, la alta sobrecarga de comunicación no solo limita la escalabilidad de las plataformas de cómputo distribuido en paralelo de grafos, sino que también reduce el rendimiento general de los clústeres. Para abordar este problema, este trabajo propuso un enfoque de partición de grafos paralelo cercano a la fuente denominado NDGP. En NDGP, una arista se distribuía preferentemente a la máquina donde estaba almacenada. Implementamos NDGP sobre dos enfoques clásicos de partición de grafos, Aleatorio y Ávido, y un enfoque de partición de grafos propuesto más recientemente, OLPGP, y evaluamos su efectividad. Experimentos extensos realizados en conjuntos de datos del mundo real verificaron la efectividad de NDGP en la reducción de la sobrecarga de comunicación en el proceso de partición de grafos y demostraron que NDGP no induce carga adicional de comunicación y cómputo al cómputo distribuido de grafos que sigue.
Descripción
Recientemente, se han propuesto numerosos enfoques de partición de grafos para distribuir un gran grafo a máquinas en un clúster para cómputo distribuido. Debido a la alta sobrecarga de comunicación, estos enfoques de partición de grafos siempre han sufrido de largos tiempos de ingreso. Además, la alta sobrecarga de comunicación no solo limita la escalabilidad de las plataformas de cómputo distribuido en paralelo de grafos, sino que también reduce el rendimiento general de los clústeres. Para abordar este problema, este trabajo propuso un enfoque de partición de grafos paralelo cercano a la fuente denominado NDGP. En NDGP, una arista se distribuía preferentemente a la máquina donde estaba almacenada. Implementamos NDGP sobre dos enfoques clásicos de partición de grafos, Aleatorio y Ávido, y un enfoque de partición de grafos propuesto más recientemente, OLPGP, y evaluamos su efectividad. Experimentos extensos realizados en conjuntos de datos del mundo real verificaron la efectividad de NDGP en la reducción de la sobrecarga de comunicación en el proceso de partición de grafos y demostraron que NDGP no induce carga adicional de comunicación y cómputo al cómputo distribuido de grafos que sigue.