logo móvil
Contáctanos

La selección adaptativa de múltiples criterios para una asignación eficiente de recursos en clústeres Hadoop heterogéneos frugales

Autores: Qureshi, Basit

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

La selección adaptativa de múltiples criterios para una asignación eficiente de recursos en clústeres Hadoop heterogéneos frugales


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Asignación de recursos
Grupos
Computadoras de placa única
Computación en el borde
Programación de Hadoop
Equilibrio de carga
AMS-ERA
Fallas de trabajo
CPU
Memoria
Requisitos de disco
Asignación óptima de recursos
Grupo basado en SBC
Experimentos
Rendimiento
Referencia
AMS-ERA
Tiempo de ejecución.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 24

Citaciones: Sin citaciones


Descripción
La asignación eficiente de recursos es crucial en clústeres con frugales Computadoras de Placa Única (SBCs) que poseen recursos computacionales limitados. Estos clústeres se están desplegando cada vez más en entornos de computación en el borde en configuraciones con limitaciones de recursos donde la eficiencia energética y la rentabilidad son primordiales. Un desafío importante en la programación de Hadoop es el equilibrio de carga, ya que los nodos frugales dentro del clúster pueden verse abrumados, lo que resulta en un rendimiento degradado y ocurrencias frecuentes de errores de falta de memoria, lo que lleva en última instancia a fallos en los trabajos. En este estudio, presentamos una Selección Adaptativa de Múltiples Criterios para la Asignación Eficiente de Recursos (AMS-ERA) en Clústeres Hadoop Frugales y Heterogéneos. Nuestro criterio considera los requisitos de CPU, memoria y disco para los trabajos y alinea los requisitos con los recursos disponibles en el clúster para una asignación óptima de recursos. Para validar nuestro enfoque, desplegamos un clúster heterogéneo basado en SBC que consta de 11 nodos SBC y realizamos varios experimentos para evaluar el rendimiento utilizando el benchmark de conteo de palabras y terasort de Hadoop para diferentes configuraciones de carga de trabajo. Los resultados se comparan con las estrategias de programación de Hadoop-Fair, FOG e IDaPS. Nuestros resultados demuestran una mejora significativa en el rendimiento con el AMS-ERA propuesto, reduciendo el tiempo de ejecución en un 27,2%, 17,4% y 7,6%, respectivamente, utilizando los benchmarks de terasort y conteo de palabras.

Otros recursos que podrían interesarte

Temas Virtualpro