logo móvil
Contáctanos

El equilibrado de carga dinámico en tuberías de procesamiento de flujo que contienen uniones estáticas de flujo

Autores: Mari, Josip; Pripui, Kreimir; Antoni, Martina; kvorc, Dejan

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

El equilibrado de carga dinámico en tuberías de procesamiento de flujo que contienen uniones estáticas de flujo


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Sistemas de procesamiento de flujo de datos
Monitoreo en tiempo real
Sesgo de partición
Particiones de datos
Equilibrio de carga
Operaciones de procesamiento de flujo

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 36

Citaciones: Sin citaciones


Descripción
Los sistemas de procesamiento de flujo de datos se utilizan para ejecutar continuamente aplicaciones críticas para la misión de monitoreo y alerta en tiempo real. Estos sistemas requieren un alto rendimiento y baja latencia para procesar los flujos de datos entrantes en tiempo real. Sin embargo, los cambios en la distribución de los flujos de datos entrantes con el tiempo pueden causar desequilibrio de particiones, que se define como una distribución desigual de las particiones de datos entre los trabajadores, lo que resulta en un procesamiento subóptimo debido a una carga desequilibrada. Este documento presenta la primera solución diseñada específicamente para abordar el desequilibrio de particiones en el contexto de unir datos en streaming y estáticos. Nuestra solución utiliza principios de vanguardia para monitorear la carga de procesamiento, detectar desequilibrios de carga y redistribuir dinámicamente las particiones para lograr un equilibrio de carga óptimo. Para lograr esto, nuestra solución aprovecha la colocación de datos en streaming y estáticos, considerando la carga de procesamiento de la unión y las operaciones de procesamiento de flujo subsiguientes. Finalmente, presentamos los resultados de una evaluación experimental, en la que comparamos el rendimiento y la latencia de cuatro canalizaciones de procesamiento de flujo que contienen dicha unión. Los resultados muestran que nuestra solución logró un rendimiento significativamente mayor y una menor latencia que los enfoques competidores.

Otros recursos que podrían interesarte

Temas Virtualpro