Procesamiento de consulta de subgráficos distribuidos utilizando puntuaciones de filtrado en Spark
Autores: Bok, Kyoungsoo; Kim, Minyoung; Lee, Hyeonbyeong; Choi, Dojin; Lim, Jongtae; Yoo, Jaesoo
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Procesamiento de consulta de subgráficos distribuidos utilizando puntuaciones de filtrado en Spark
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Gráficos a gran escala
Subgráficos
Procesamiento distribuido de consultas
Spark
Consultas particionadas
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
A medida que varios servicios han estado generando gráficos a gran escala para representar múltiples relaciones entre objetos, se han realizado estudios para obtener subgráficos con patrones particulares. En este documento, proponemos un método de procesamiento de consultas distribuido para buscar eficientemente un subgrafo en un grafo grande en Spark. Para reducir costos de procesamiento innecesarios, el orden de búsqueda se determina filtrando puntuaciones utilizando la distribución de probabilidad. Las consultas particionadas se buscan en paralelo en el grafo distribuido de cada nodo esclavo de acuerdo con el orden de búsqueda, y los resultados de búsqueda locales obtenidos de cada nodo esclavo se combinan y devuelven. La consulta se divide en tripletes basados en el orden de búsqueda determinado. Se compara el rendimiento del método propuesto con el rendimiento de los métodos existentes para demostrar su superioridad.
Descripción
A medida que varios servicios han estado generando gráficos a gran escala para representar múltiples relaciones entre objetos, se han realizado estudios para obtener subgráficos con patrones particulares. En este documento, proponemos un método de procesamiento de consultas distribuido para buscar eficientemente un subgrafo en un grafo grande en Spark. Para reducir costos de procesamiento innecesarios, el orden de búsqueda se determina filtrando puntuaciones utilizando la distribución de probabilidad. Las consultas particionadas se buscan en paralelo en el grafo distribuido de cada nodo esclavo de acuerdo con el orden de búsqueda, y los resultados de búsqueda locales obtenidos de cada nodo esclavo se combinan y devuelven. La consulta se divide en tripletes basados en el orden de búsqueda determinado. Se compara el rendimiento del método propuesto con el rendimiento de los métodos existentes para demostrar su superioridad.