El equilibrado de carga dinámico en tuberías de procesamiento de flujo que contienen uniones estáticas de flujo
Autores: Mari, Josip; Pripui, Kreimir; Antoni, Martina; kvorc, Dejan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
El equilibrado de carga dinámico en tuberías de procesamiento de flujo que contienen uniones estáticas de flujo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas de procesamiento de flujo de datos
Monitoreo en tiempo real
Sesgo de partición
Particiones de datos
Equilibrio de carga
Operaciones de procesamiento de flujo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Los sistemas de procesamiento de flujo de datos se utilizan para ejecutar continuamente aplicaciones críticas para la misión de monitoreo y alerta en tiempo real. Estos sistemas requieren un alto rendimiento y baja latencia para procesar los flujos de datos entrantes en tiempo real. Sin embargo, los cambios en la distribución de los flujos de datos entrantes con el tiempo pueden causar desequilibrio de particiones, que se define como una distribución desigual de las particiones de datos entre los trabajadores, lo que resulta en un procesamiento subóptimo debido a una carga desequilibrada. Este documento presenta la primera solución diseñada específicamente para abordar el desequilibrio de particiones en el contexto de unir datos en streaming y estáticos. Nuestra solución utiliza principios de vanguardia para monitorear la carga de procesamiento, detectar desequilibrios de carga y redistribuir dinámicamente las particiones para lograr un equilibrio de carga óptimo. Para lograr esto, nuestra solución aprovecha la colocación de datos en streaming y estáticos, considerando la carga de procesamiento de la unión y las operaciones de procesamiento de flujo subsiguientes. Finalmente, presentamos los resultados de una evaluación experimental, en la que comparamos el rendimiento y la latencia de cuatro canalizaciones de procesamiento de flujo que contienen dicha unión. Los resultados muestran que nuestra solución logró un rendimiento significativamente mayor y una menor latencia que los enfoques competidores.
Descripción
Los sistemas de procesamiento de flujo de datos se utilizan para ejecutar continuamente aplicaciones críticas para la misión de monitoreo y alerta en tiempo real. Estos sistemas requieren un alto rendimiento y baja latencia para procesar los flujos de datos entrantes en tiempo real. Sin embargo, los cambios en la distribución de los flujos de datos entrantes con el tiempo pueden causar desequilibrio de particiones, que se define como una distribución desigual de las particiones de datos entre los trabajadores, lo que resulta en un procesamiento subóptimo debido a una carga desequilibrada. Este documento presenta la primera solución diseñada específicamente para abordar el desequilibrio de particiones en el contexto de unir datos en streaming y estáticos. Nuestra solución utiliza principios de vanguardia para monitorear la carga de procesamiento, detectar desequilibrios de carga y redistribuir dinámicamente las particiones para lograr un equilibrio de carga óptimo. Para lograr esto, nuestra solución aprovecha la colocación de datos en streaming y estáticos, considerando la carga de procesamiento de la unión y las operaciones de procesamiento de flujo subsiguientes. Finalmente, presentamos los resultados de una evaluación experimental, en la que comparamos el rendimiento y la latencia de cuatro canalizaciones de procesamiento de flujo que contienen dicha unión. Los resultados muestran que nuestra solución logró un rendimiento significativamente mayor y una menor latencia que los enfoques competidores.