logo móvil
Contáctanos

Modelo de Análisis de Rendimiento de Hadoop con Profunda Localidad de Datos

Autores: Lee, Sungchul; Jo, Ju-Yeon; Kim, Yoohwan

Idioma: Inglés

Editor: MDPI

Año: 2019

Descargar PDF

Acceso abierto

Artículo científico
2019

Modelo de Análisis de Rendimiento de Hadoop con Profunda Localidad de Datos


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Hadoop
Localidad de datos
Modelo de análisis de rendimiento
Mapreduce
Localidad de datos profunda
Hdfs

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Antecedentes: Hadoop se ha convertido en el marco base del sistema de big data a través del concepto simple de que mover la computación es más barato que mover datos. Hadoop aumenta la localidad de datos en el Sistema de Archivos Distribuidos de Hadoop (HDFS) para mejorar el rendimiento del sistema. El tráfico de red entre nodos en el sistema de big data se reduce al aumentar la localidad de datos en la máquina. La investigación tradicional aumentó la localidad de datos en una de las etapas de MapReduce para incrementar el rendimiento de Hadoop. Sin embargo, actualmente no existe un modelo matemático de rendimiento para la localidad de datos en Hadoop. Métodos: Este estudio elaboró un modelo de análisis de rendimiento de Hadoop con localidad de datos para analizar todo el proceso de MapReduce. En este documento, se explicó el concepto de localidad de datos en la etapa de mapeo y en la etapa de mezcla. Además, esta investigación mostró cómo aplicar el modelo de análisis de rendimiento de Hadoop para aumentar el rendimiento del sistema Hadoop mediante la creación de una profunda localidad de datos. Resultados: Esta investigación demostró la profunda localidad de datos para aumentar el rendimiento de Hadoop a través de tres pruebas, como una prueba basada en simulación, una prueba en la nube y una prueba física. Según la prueba, los autores mejoraron el sistema Hadoop en más del 34% utilizando la profunda localidad de datos. Conclusiones: La profunda localidad de datos mejoró el rendimiento de Hadoop al reducir el movimiento de datos en HDFS.

Otros recursos que podrían interesarte

Temas Virtualpro