Nuevos y eficientes algoritmos para producir conjuntos de elementos frecuentes con el marco de Map-Reduce
Autores: Gonen, Yaron; Gudes, Ehud; Kandalov, Kirill
Idioma: Inglés
Editor: MDPI
Año: 2018
Acceso abierto
Artículo científico
2018
Nuevos y eficientes algoritmos para producir conjuntos de elementos frecuentes con el marco de Map-Reduce
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Map-reduce
Algoritmos
Big data
Minería de datos
Reglas de asociación
Conjuntos de elementos frecuentes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 45
Citaciones: Sin citaciones
El marco de trabajo Map-Reduce (MR) se ha convertido en un marco de trabajo popular para el desarrollo de nuevos algoritmos paralelos para Big Data. Los algoritmos eficientes para la minería de datos de grandes bases de datos distribuidas se han convertido en un problema importante. En este documento nos centramos en algoritmos que producen reglas de asociación y conjuntos de elementos frecuentes. Después de revisar los algoritmos más recientes que realizan esta tarea dentro del marco de trabajo MR, presentamos dos nuevos algoritmos: uno para producir conjuntos de elementos frecuentes cerrados, y el segundo para producir conjuntos de elementos frecuentes cuando la base de datos se actualiza y se agregan nuevos datos a la base de datos antigua. Ambos algoritmos incluyen optimizaciones novedosas que son adecuadas para el marco de trabajo MR, así como para otras arquitecturas paralelas. Una evaluación experimental detallada muestra la efectividad y ventajas de los algoritmos sobre los métodos existentes cuando se trata de grandes bases de datos distribuidas.
Descripción
El marco de trabajo Map-Reduce (MR) se ha convertido en un marco de trabajo popular para el desarrollo de nuevos algoritmos paralelos para Big Data. Los algoritmos eficientes para la minería de datos de grandes bases de datos distribuidas se han convertido en un problema importante. En este documento nos centramos en algoritmos que producen reglas de asociación y conjuntos de elementos frecuentes. Después de revisar los algoritmos más recientes que realizan esta tarea dentro del marco de trabajo MR, presentamos dos nuevos algoritmos: uno para producir conjuntos de elementos frecuentes cerrados, y el segundo para producir conjuntos de elementos frecuentes cuando la base de datos se actualiza y se agregan nuevos datos a la base de datos antigua. Ambos algoritmos incluyen optimizaciones novedosas que son adecuadas para el marco de trabajo MR, así como para otras arquitecturas paralelas. Una evaluación experimental detallada muestra la efectividad y ventajas de los algoritmos sobre los métodos existentes cuando se trata de grandes bases de datos distribuidas.