Tpbf: marco de verificación de integridad de datos de extremo a extremo basado en filtro de flor de dos fases para sistemas de transferencia de grandes datos basados en objetos
Autores: Kasu, Preethika; Hamandawana, Prince; Chung, Tae-Sun
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Tpbf: marco de verificación de integridad de datos de extremo a extremo basado en filtro de flor de dos fases para sistemas de transferencia de grandes datos basados en objetos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Ciencia computacional
Integridad de datos
Transmisión de datos
Centros de datos
Sobrecarga de almacenamiento
Computación de alto rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
Las simulaciones de ciencias computacionales producen grandes volúmenes de datos para organizaciones de investigación científica. Frecuentemente, estos datos son compartidos por centros de datos distribuidos geográficamente para almacenamiento y análisis. La corrupción de datos en la ruta de transmisión de extremo a extremo es uno de los principales desafíos en la distribución geográfica de los datos. Por lo tanto, la verificación de integridad de extremo a extremo es crítica para transmitir dichos datos entre centros de datos de manera efectiva. Aunque actualmente existen varias técnicas de integridad de datos, la mayoría tiene una influencia negativa significativa en la tasa de transmisión de datos y en la sobrecarga de almacenamiento. Por lo tanto, las técnicas de integridad de datos existentes no son soluciones viables en entornos de computación de alto rendimiento donde es muy común transferir grandes volúmenes de datos entre centros de datos. En este estudio, proponemos un marco de verificación de integridad de datos de extremo a extremo basado en Bloom filter de dos fases para sistemas de transferencia de datos masivos basados en objetos. La solución propuesta maneja eficazmente los errores de integridad de datos al reducir la memoria y la sobrecarga de almacenamiento y minimizar el impacto en la tasa general de transmisión de datos. Investigamos las sobrecargas de memoria, almacenamiento y tasa de transferencia de datos del marco de verificación de integridad de datos propuesto en el rendimiento general de transferencia de datos. Los hallazgos experimentales mostraron que el marco sugerido tenía una sobrecarga del 5% y 10% en la tasa total de transmisión de datos y en el uso total de memoria, respectivamente. Sin embargo, observamos ahorros significativos en términos de requisitos de almacenamiento, en comparación con las soluciones de última generación.
Descripción
Las simulaciones de ciencias computacionales producen grandes volúmenes de datos para organizaciones de investigación científica. Frecuentemente, estos datos son compartidos por centros de datos distribuidos geográficamente para almacenamiento y análisis. La corrupción de datos en la ruta de transmisión de extremo a extremo es uno de los principales desafíos en la distribución geográfica de los datos. Por lo tanto, la verificación de integridad de extremo a extremo es crítica para transmitir dichos datos entre centros de datos de manera efectiva. Aunque actualmente existen varias técnicas de integridad de datos, la mayoría tiene una influencia negativa significativa en la tasa de transmisión de datos y en la sobrecarga de almacenamiento. Por lo tanto, las técnicas de integridad de datos existentes no son soluciones viables en entornos de computación de alto rendimiento donde es muy común transferir grandes volúmenes de datos entre centros de datos. En este estudio, proponemos un marco de verificación de integridad de datos de extremo a extremo basado en Bloom filter de dos fases para sistemas de transferencia de datos masivos basados en objetos. La solución propuesta maneja eficazmente los errores de integridad de datos al reducir la memoria y la sobrecarga de almacenamiento y minimizar el impacto en la tasa general de transmisión de datos. Investigamos las sobrecargas de memoria, almacenamiento y tasa de transferencia de datos del marco de verificación de integridad de datos propuesto en el rendimiento general de transferencia de datos. Los hallazgos experimentales mostraron que el marco sugerido tenía una sobrecarga del 5% y 10% en la tasa total de transmisión de datos y en el uso total de memoria, respectivamente. Sin embargo, observamos ahorros significativos en términos de requisitos de almacenamiento, en comparación con las soluciones de última generación.