Localidad/Equidad-Aware Job Scheduling en Motores de Procesamiento de Flujo Distribuido
Autores: Son, Siwoon; Moon, Yang-Sae
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Localidad/Equidad-Aware Job Scheduling en Motores de Procesamiento de Flujo Distribuido
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Motores de procesamiento de transmisiones distribuidas
DSPEs
Particionamiento de transmisiones consciente de la localidad
LSP
Programador de tareas
Consciente de la localidad/justo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 49
Citaciones: Sin citaciones
Los motores de procesamiento de transmisión distribuida (DSPEs) despliegan múltiples tareas en servidores distribuidos para procesar flujos de datos en tiempo real. Muchos DSPEs han proporcionado métodos de particionamiento de transmisión conscientes de la localidad (LSP) para reducir los costos de comunicación en red. Sin embargo, un planificador de tareas incluso proporcionado por los DSPEs despliega tareas lejos unas de otras en los servidores distribuidos, lo que no permite utilizar correctamente el LSP. En este documento, proponemos un planificador de tareas consciente de la localidad y la equidad (planificador de tareas L/F) que considera la localidad para resolver los problemas del planificador de tareas incluso que solo considera la equidad. En primer lugar, el planificador de tareas L/F aumenta la cohesión de tareas contiguas que requieren transmisiones de mensajes para la localidad. Al mismo tiempo, reduce el acoplamiento de tareas paralelas que no requieren transmisiones de mensajes para la equidad. A continuación, conectamos las tareas contiguas en una tubería de flujo y desplegamos uniformemente las tuberías de flujo en los servidores distribuidos para que el planificador de tareas L/F logre una alta cohesión y un bajo acoplamiento. Finalmente, implementamos el planificador de tareas L/F propuesto en Apache Storm, un DSPE representativo, y lo evaluamos tanto en cargas de trabajo sintéticas como en el mundo real. Los resultados experimentales muestran que el planificador de tareas L/F es similar en rendimiento de procesamiento en comparación con el planificador de tareas incluso, pero la latencia se mejora significativamente hasta un 139.2% para las aplicaciones LSP y hasta un 140.7% incluso para las aplicaciones no LSP. El planificador de tareas L/F también mejora la latencia en un 19.58% y un 12.13%, respectivamente, en dos cargas de trabajo del mundo real. Estos resultados indican que nuestro planificador de tareas L/F proporciona un rendimiento de procesamiento superior para las aplicaciones de DSPE.
Descripción
Los motores de procesamiento de transmisión distribuida (DSPEs) despliegan múltiples tareas en servidores distribuidos para procesar flujos de datos en tiempo real. Muchos DSPEs han proporcionado métodos de particionamiento de transmisión conscientes de la localidad (LSP) para reducir los costos de comunicación en red. Sin embargo, un planificador de tareas incluso proporcionado por los DSPEs despliega tareas lejos unas de otras en los servidores distribuidos, lo que no permite utilizar correctamente el LSP. En este documento, proponemos un planificador de tareas consciente de la localidad y la equidad (planificador de tareas L/F) que considera la localidad para resolver los problemas del planificador de tareas incluso que solo considera la equidad. En primer lugar, el planificador de tareas L/F aumenta la cohesión de tareas contiguas que requieren transmisiones de mensajes para la localidad. Al mismo tiempo, reduce el acoplamiento de tareas paralelas que no requieren transmisiones de mensajes para la equidad. A continuación, conectamos las tareas contiguas en una tubería de flujo y desplegamos uniformemente las tuberías de flujo en los servidores distribuidos para que el planificador de tareas L/F logre una alta cohesión y un bajo acoplamiento. Finalmente, implementamos el planificador de tareas L/F propuesto en Apache Storm, un DSPE representativo, y lo evaluamos tanto en cargas de trabajo sintéticas como en el mundo real. Los resultados experimentales muestran que el planificador de tareas L/F es similar en rendimiento de procesamiento en comparación con el planificador de tareas incluso, pero la latencia se mejora significativamente hasta un 139.2% para las aplicaciones LSP y hasta un 140.7% incluso para las aplicaciones no LSP. El planificador de tareas L/F también mejora la latencia en un 19.58% y un 12.13%, respectivamente, en dos cargas de trabajo del mundo real. Estos resultados indican que nuestro planificador de tareas L/F proporciona un rendimiento de procesamiento superior para las aplicaciones de DSPE.