logo móvil
Contáctanos

Localidad/Equidad-Aware Job Scheduling en Motores de Procesamiento de Flujo Distribuido

Autores: Son, Siwoon; Moon, Yang-Sae

Idioma: Inglés

Editor: MDPI

Año: 2020

Descargar PDF

Acceso abierto

Artículo científico
2020

Localidad/Equidad-Aware Job Scheduling en Motores de Procesamiento de Flujo Distribuido


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Motores de procesamiento de transmisiones distribuidas
DSPEs
Particionamiento de transmisiones consciente de la localidad
LSP
Programador de tareas
Consciente de la localidad/justo

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 49

Citaciones: Sin citaciones


Descripción
Los motores de procesamiento de transmisión distribuida (DSPEs) despliegan múltiples tareas en servidores distribuidos para procesar flujos de datos en tiempo real. Muchos DSPEs han proporcionado métodos de particionamiento de transmisión conscientes de la localidad (LSP) para reducir los costos de comunicación en red. Sin embargo, un planificador de tareas incluso proporcionado por los DSPEs despliega tareas lejos unas de otras en los servidores distribuidos, lo que no permite utilizar correctamente el LSP. En este documento, proponemos un planificador de tareas consciente de la localidad y la equidad (planificador de tareas L/F) que considera la localidad para resolver los problemas del planificador de tareas incluso que solo considera la equidad. En primer lugar, el planificador de tareas L/F aumenta la cohesión de tareas contiguas que requieren transmisiones de mensajes para la localidad. Al mismo tiempo, reduce el acoplamiento de tareas paralelas que no requieren transmisiones de mensajes para la equidad. A continuación, conectamos las tareas contiguas en una tubería de flujo y desplegamos uniformemente las tuberías de flujo en los servidores distribuidos para que el planificador de tareas L/F logre una alta cohesión y un bajo acoplamiento. Finalmente, implementamos el planificador de tareas L/F propuesto en Apache Storm, un DSPE representativo, y lo evaluamos tanto en cargas de trabajo sintéticas como en el mundo real. Los resultados experimentales muestran que el planificador de tareas L/F es similar en rendimiento de procesamiento en comparación con el planificador de tareas incluso, pero la latencia se mejora significativamente hasta un 139.2% para las aplicaciones LSP y hasta un 140.7% incluso para las aplicaciones no LSP. El planificador de tareas L/F también mejora la latencia en un 19.58% y un 12.13%, respectivamente, en dos cargas de trabajo del mundo real. Estos resultados indican que nuestro planificador de tareas L/F proporciona un rendimiento de procesamiento superior para las aplicaciones de DSPE.

Otros recursos que podrían interesarte

Temas Virtualpro