Modelo de Análisis de Rendimiento de Hadoop con Profunda Localidad de Datos
Autores: Lee, Sungchul; Jo, Ju-Yeon; Kim, Yoohwan
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Modelo de Análisis de Rendimiento de Hadoop con Profunda Localidad de Datos
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Hadoop
Localidad de datos
Modelo de análisis de rendimiento
Mapreduce
Localidad de datos profunda
Hdfs
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Antecedentes: Hadoop se ha convertido en el marco base del sistema de big data a través del concepto simple de que mover la computación es más barato que mover datos. Hadoop aumenta la localidad de datos en el Sistema de Archivos Distribuidos de Hadoop (HDFS) para mejorar el rendimiento del sistema. El tráfico de red entre nodos en el sistema de big data se reduce al aumentar la localidad de datos en la máquina. La investigación tradicional aumentó la localidad de datos en una de las etapas de MapReduce para incrementar el rendimiento de Hadoop. Sin embargo, actualmente no existe un modelo matemático de rendimiento para la localidad de datos en Hadoop. Métodos: Este estudio elaboró un modelo de análisis de rendimiento de Hadoop con localidad de datos para analizar todo el proceso de MapReduce. En este documento, se explicó el concepto de localidad de datos en la etapa de mapeo y en la etapa de mezcla. Además, esta investigación mostró cómo aplicar el modelo de análisis de rendimiento de Hadoop para aumentar el rendimiento del sistema Hadoop mediante la creación de una profunda localidad de datos. Resultados: Esta investigación demostró la profunda localidad de datos para aumentar el rendimiento de Hadoop a través de tres pruebas, como una prueba basada en simulación, una prueba en la nube y una prueba física. Según la prueba, los autores mejoraron el sistema Hadoop en más del 34% utilizando la profunda localidad de datos. Conclusiones: La profunda localidad de datos mejoró el rendimiento de Hadoop al reducir el movimiento de datos en HDFS.
Descripción
Antecedentes: Hadoop se ha convertido en el marco base del sistema de big data a través del concepto simple de que mover la computación es más barato que mover datos. Hadoop aumenta la localidad de datos en el Sistema de Archivos Distribuidos de Hadoop (HDFS) para mejorar el rendimiento del sistema. El tráfico de red entre nodos en el sistema de big data se reduce al aumentar la localidad de datos en la máquina. La investigación tradicional aumentó la localidad de datos en una de las etapas de MapReduce para incrementar el rendimiento de Hadoop. Sin embargo, actualmente no existe un modelo matemático de rendimiento para la localidad de datos en Hadoop. Métodos: Este estudio elaboró un modelo de análisis de rendimiento de Hadoop con localidad de datos para analizar todo el proceso de MapReduce. En este documento, se explicó el concepto de localidad de datos en la etapa de mapeo y en la etapa de mezcla. Además, esta investigación mostró cómo aplicar el modelo de análisis de rendimiento de Hadoop para aumentar el rendimiento del sistema Hadoop mediante la creación de una profunda localidad de datos. Resultados: Esta investigación demostró la profunda localidad de datos para aumentar el rendimiento de Hadoop a través de tres pruebas, como una prueba basada en simulación, una prueba en la nube y una prueba física. Según la prueba, los autores mejoraron el sistema Hadoop en más del 34% utilizando la profunda localidad de datos. Conclusiones: La profunda localidad de datos mejoró el rendimiento de Hadoop al reducir el movimiento de datos en HDFS.