Robust-DSN: un grupo de red de replicación y codificación distribuida híbrida agrupado con un planificador de flujo de trabajo distribuido en enjambre
Autores: Hameed, Zeeshan; Barzegar, Hamid R.; Ioini, Nabil El; Pahl, Claus
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Robust-DSN: un grupo de red de replicación y codificación distribuida híbrida agrupado con un planificador de flujo de trabajo distribuido en enjambre
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aplicaciones distribuidas
Almacenamiento de datos
Replicación distribuida
Codificación de red
Programador de flujo de trabajo de enjambre
Disponibilidad de archivos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
En muchas aplicaciones distribuidas como el Internet de las cosas (IoT), se generan grandes cantidades de datos que requieren soluciones de almacenamiento robustas. Las soluciones tradicionales en la nube, aunque eficientes, a menudo carecen de confianza y transparencia debido a la gestión centralizada. Para abordar estos problemas, presentamos Robust-DSN, una red de almacenamiento distribuido que aprovecha la red de replicación y codificación distribuida híbrida (HYDREN) y el programador de flujo de trabajo de enjambre distribuido (DSWS) como sus componentes principales. Nuestro sistema utiliza un sistema de archivos interplanetario (IPFS) como red de almacenamiento subyacente y lo segmenta en múltiples regiones para distribuir el dominio de fallos y mejorar la proximidad de los datos a los usuarios. HYDREN incorpora la codificación de Reed-Solomon y la replicación distribuida para mejorar la disponibilidad de archivos, mientras que DSWS optimiza la asignación de recursos en toda la red. El archivo cargado se codifica en fragmentos y se distribuye en nodos óptimos distintos aprovechando la multihilo ligera. Además, Robust-DSN verifica la integridad de todos los fragmentos conservando los hashes al cargar y validar cada fragmento al descargar. El sistema propuesto proporciona una solución integral para el almacenamiento de datos distribuidos resiliente, centrándose en los desafíos clave de disponibilidad de datos, integridad y rendimiento. Los resultados revelan que en comparación con un sistema de última generación, el sistema propuesto mejora la recuperación de archivos en un 15%, incluso con una tasa de fallo de pares del 50%. Además, con un factor de replicación de 4 y la misma resistencia al fallo que IPFS, ahorra un 50% de almacenamiento y mejora la recuperación de archivos en un 8%. Robust-DSN actúa como una plataforma de almacenamiento distribuido para tecnologías emergentes, ampliando las capacidades del sistema de almacenamiento en una amplia gama de aplicaciones distribuidas.
Descripción
En muchas aplicaciones distribuidas como el Internet de las cosas (IoT), se generan grandes cantidades de datos que requieren soluciones de almacenamiento robustas. Las soluciones tradicionales en la nube, aunque eficientes, a menudo carecen de confianza y transparencia debido a la gestión centralizada. Para abordar estos problemas, presentamos Robust-DSN, una red de almacenamiento distribuido que aprovecha la red de replicación y codificación distribuida híbrida (HYDREN) y el programador de flujo de trabajo de enjambre distribuido (DSWS) como sus componentes principales. Nuestro sistema utiliza un sistema de archivos interplanetario (IPFS) como red de almacenamiento subyacente y lo segmenta en múltiples regiones para distribuir el dominio de fallos y mejorar la proximidad de los datos a los usuarios. HYDREN incorpora la codificación de Reed-Solomon y la replicación distribuida para mejorar la disponibilidad de archivos, mientras que DSWS optimiza la asignación de recursos en toda la red. El archivo cargado se codifica en fragmentos y se distribuye en nodos óptimos distintos aprovechando la multihilo ligera. Además, Robust-DSN verifica la integridad de todos los fragmentos conservando los hashes al cargar y validar cada fragmento al descargar. El sistema propuesto proporciona una solución integral para el almacenamiento de datos distribuidos resiliente, centrándose en los desafíos clave de disponibilidad de datos, integridad y rendimiento. Los resultados revelan que en comparación con un sistema de última generación, el sistema propuesto mejora la recuperación de archivos en un 15%, incluso con una tasa de fallo de pares del 50%. Además, con un factor de replicación de 4 y la misma resistencia al fallo que IPFS, ahorra un 50% de almacenamiento y mejora la recuperación de archivos en un 8%. Robust-DSN actúa como una plataforma de almacenamiento distribuido para tecnologías emergentes, ampliando las capacidades del sistema de almacenamiento en una amplia gama de aplicaciones distribuidas.