Un esquema novedoso de gestión de datos en la nube para micromáquinas
Autores: Singh, Gurwinder; Jeyaraj, Rathinaraja; Sharma, Anil; Paul, Anand
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un esquema novedoso de gestión de datos en la nube para micromáquinas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas ciberfísicos
Micromáquinas
Nube
Bloques de datos
Hadoop MapReduce
Latencia de trabajo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
En los sistemas ciberfísicos (CPS), las micromáquinas suelen desplegarse en una amplia gama de aplicaciones, incluyendo la industria inteligente, la atención médica inteligente y las ciudades inteligentes. Proporcionar recursos locales para el almacenamiento y procesamiento de enormes datos recopilados por estas aplicaciones CPS es crucial. La nube proporciona recursos escalables de almacenamiento y computación, típicamente a través de un grupo de máquinas virtuales (VMs) con herramientas de big data como Hadoop MapReduce. En un entorno distribuido como este, la latencia del trabajo y el makespan se ven altamente afectados por ejecuciones no locales excesivas debido a diversas heterogeneidades (hardware, VM, rendimiento y nivel de carga de trabajo). Los enfoques existentes manejan una o más de estas heterogeneidades; sin embargo, no tienen en cuenta el rendimiento variable de los discos de almacenamiento. En este documento, proponemos un método basado en predicciones para colocar bloques de datos en clústeres virtuales para minimizar el número de ejecuciones no locales. Esto se logra aplicando un algoritmo de regresión lineal para determinar el rendimiento del almacenamiento en disco en cada máquina física que aloja un clúster virtual. Esto nos permite colocar bloques de datos y ejecutar tareas de mapas donde se encuentran los bloques de datos. Además, las tareas de mapas se programan en función del rendimiento de la VM para reducir la latencia del trabajo y el makespan. Simulamos nuestras ideas y las comparamos con los planificadores existentes en el marco de Hadoop. Los resultados muestran que el método propuesto mejora el rendimiento de MapReduce en términos de latencia del trabajo y makespan al minimizar las ejecuciones no locales en comparación con otros métodos evaluados.
Descripción
En los sistemas ciberfísicos (CPS), las micromáquinas suelen desplegarse en una amplia gama de aplicaciones, incluyendo la industria inteligente, la atención médica inteligente y las ciudades inteligentes. Proporcionar recursos locales para el almacenamiento y procesamiento de enormes datos recopilados por estas aplicaciones CPS es crucial. La nube proporciona recursos escalables de almacenamiento y computación, típicamente a través de un grupo de máquinas virtuales (VMs) con herramientas de big data como Hadoop MapReduce. En un entorno distribuido como este, la latencia del trabajo y el makespan se ven altamente afectados por ejecuciones no locales excesivas debido a diversas heterogeneidades (hardware, VM, rendimiento y nivel de carga de trabajo). Los enfoques existentes manejan una o más de estas heterogeneidades; sin embargo, no tienen en cuenta el rendimiento variable de los discos de almacenamiento. En este documento, proponemos un método basado en predicciones para colocar bloques de datos en clústeres virtuales para minimizar el número de ejecuciones no locales. Esto se logra aplicando un algoritmo de regresión lineal para determinar el rendimiento del almacenamiento en disco en cada máquina física que aloja un clúster virtual. Esto nos permite colocar bloques de datos y ejecutar tareas de mapas donde se encuentran los bloques de datos. Además, las tareas de mapas se programan en función del rendimiento de la VM para reducir la latencia del trabajo y el makespan. Simulamos nuestras ideas y las comparamos con los planificadores existentes en el marco de Hadoop. Los resultados muestran que el método propuesto mejora el rendimiento de MapReduce en términos de latencia del trabajo y makespan al minimizar las ejecuciones no locales en comparación con otros métodos evaluados.