logo móvil
Contáctanos

Predicción de carga de datos en streaming para ajuste de recursos utilizando regresión de vectores de soporte en línea

Autores: Hu, Zhigang; Kang, Hui; Zheng, Meiguang

Idioma: Inglés

Editor: MDPI

Año: 2019

Descargar PDF

Acceso abierto

Artículo científico
2019

Predicción de carga de datos en streaming para ajuste de recursos utilizando regresión de vectores de soporte en línea


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Sistema de procesamiento de flujo de datos distribuido
Spark Streaming
Análisis de datos de transmisión en tiempo real
Asignación de recursos
Esquema de predicción basado en SVR

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
Un sistema distribuido de procesamiento de flujos de datos maneja cargas de datos en tiempo real, cambiantes y repentinas. Su asignación elástica de recursos se ha convertido en un problema fundamental y desafiante con una estrategia fija que resultará en desperdicio de recursos o una reducción en la calidad de servicio (QoS). Spark Streaming como un sistema emergente ha sido desarrollado para procesar análisis de datos de flujo en tiempo real utilizando un enfoque de micro lotes. En este documento, primero, proponemos un esquema de predicción de carga de datos de flujo mejorado basado en SVR (regresión de vectores de soporte). Luego, diseñamos un modelo de rendimiento MSTW (máximo rendimiento sostenible de ventana de tiempo) basado en Spark para encontrar el número optimizado de máquinas virtuales. Finalmente, presentamos un algoritmo de escalado de recursos TWRES (algoritmo de escalado de elasticidad de recursos de ventana de tiempo) con restricción MSTW y predicción de carga de datos de flujo. Los resultados de la evaluación muestran que TWRES podría mejorar la utilización de recursos y mitigar la violación del acuerdo de nivel de servicio (SLA).

Otros recursos que podrían interesarte

Temas Virtualpro