logo móvil
Contáctanos

Eficiente y portátil modelado de distribución para procesamiento de datos científicos a gran escala con primitivas de paralelismo de datos

Autores: Yang, Hao-Yi; Lin, Zhi-Rong; Wang, Ko-Chih

Idioma: Inglés

Editor: MDPI

Año: 2021

Descargar PDF

Acceso abierto

Artículo científico
2021

Eficiente y portátil modelado de distribución para procesamiento de datos científicos a gran escala con primitivas de paralelismo de datos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Software

Palabras clave

Distribución basada
Conjuntos de datos científicos
Algoritmos paralelos
Histogramas
Modelo de Mezcla Gaussiana
Paralelismo de datos.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 24

Citaciones: Sin citaciones


Descripción
El uso de la representación de datos basada en distribuciones para manejar conjuntos de datos científicos a gran escala es un enfoque prometedor. Los enfoques basados en distribuciones a menudo transforman un conjunto de datos científicos en muchas distribuciones, cada una de las cuales se calcula a partir de un pequeño número de muestras. La mayoría de los algoritmos paralelos propuestos se centran en modelar distribuciones individuales a partir de muchas muestras de entrada de manera eficiente, pero estos pueden no adaptarse al escenario de procesamiento de datos científicos a gran escala porque no pueden utilizar los recursos informáticos de manera efectiva. Los histogramas y el Modelo de Mezcla Gaussiana (GMM) son las representaciones de distribución más populares utilizadas para modelar conjuntos de datos científicos. Por lo tanto, proponemos el uso de algoritmos de modelado de histogramas de múltiples conjuntos y GMM para el escenario de procesamiento de datos científicos a gran escala. Nuestros algoritmos están desarrollados mediante primitivas de paralelismo de datos para lograr portabilidad en diferentes arquitecturas de hardware. Evaluamos en detalle el rendimiento de los algoritmos propuestos y demostramos casos de uso para el procesamiento de datos científicos.

Otros recursos que podrían interesarte

Temas Virtualpro