Eficiente y portátil modelado de distribución para procesamiento de datos científicos a gran escala con primitivas de paralelismo de datos
Autores: Yang, Hao-Yi; Lin, Zhi-Rong; Wang, Ko-Chih
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Eficiente y portátil modelado de distribución para procesamiento de datos científicos a gran escala con primitivas de paralelismo de datos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Distribución basada
Conjuntos de datos científicos
Algoritmos paralelos
Histogramas
Modelo de Mezcla Gaussiana
Paralelismo de datos.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
El uso de la representación de datos basada en distribuciones para manejar conjuntos de datos científicos a gran escala es un enfoque prometedor. Los enfoques basados en distribuciones a menudo transforman un conjunto de datos científicos en muchas distribuciones, cada una de las cuales se calcula a partir de un pequeño número de muestras. La mayoría de los algoritmos paralelos propuestos se centran en modelar distribuciones individuales a partir de muchas muestras de entrada de manera eficiente, pero estos pueden no adaptarse al escenario de procesamiento de datos científicos a gran escala porque no pueden utilizar los recursos informáticos de manera efectiva. Los histogramas y el Modelo de Mezcla Gaussiana (GMM) son las representaciones de distribución más populares utilizadas para modelar conjuntos de datos científicos. Por lo tanto, proponemos el uso de algoritmos de modelado de histogramas de múltiples conjuntos y GMM para el escenario de procesamiento de datos científicos a gran escala. Nuestros algoritmos están desarrollados mediante primitivas de paralelismo de datos para lograr portabilidad en diferentes arquitecturas de hardware. Evaluamos en detalle el rendimiento de los algoritmos propuestos y demostramos casos de uso para el procesamiento de datos científicos.
Descripción
El uso de la representación de datos basada en distribuciones para manejar conjuntos de datos científicos a gran escala es un enfoque prometedor. Los enfoques basados en distribuciones a menudo transforman un conjunto de datos científicos en muchas distribuciones, cada una de las cuales se calcula a partir de un pequeño número de muestras. La mayoría de los algoritmos paralelos propuestos se centran en modelar distribuciones individuales a partir de muchas muestras de entrada de manera eficiente, pero estos pueden no adaptarse al escenario de procesamiento de datos científicos a gran escala porque no pueden utilizar los recursos informáticos de manera efectiva. Los histogramas y el Modelo de Mezcla Gaussiana (GMM) son las representaciones de distribución más populares utilizadas para modelar conjuntos de datos científicos. Por lo tanto, proponemos el uso de algoritmos de modelado de histogramas de múltiples conjuntos y GMM para el escenario de procesamiento de datos científicos a gran escala. Nuestros algoritmos están desarrollados mediante primitivas de paralelismo de datos para lograr portabilidad en diferentes arquitecturas de hardware. Evaluamos en detalle el rendimiento de los algoritmos propuestos y demostramos casos de uso para el procesamiento de datos científicos.