Speed-Dedup: un nuevo marco de deduplicación para mejorar el rendimiento y reducir la sobrecarga en el almacenamiento en escala
Autores: Hamandawana, Prince; Cho, Da-Jung; Chung, Tae-Sun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Speed-Dedup: un nuevo marco de deduplicación para mejorar el rendimiento y reducir la sobrecarga en el almacenamiento en escala
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Deduplicación
Amplificación de escritura
Latencia
Utilización de almacenamiento
Requisitos de consistencia
Speed-Dedup
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Los sistemas de deduplicación convencionales enfrentan desafíos críticos como la amplificación excesiva de escritura, la alta latencia de lectura/escritura y la utilización subóptima de almacenamiento. Estas limitaciones a menudo socavan los beneficios de rendimiento de la deduplicación al ralentizar las confirmaciones de E/S debido a E/S de deduplicación amplificadas, replicación excesiva de fragmentos de datos y estrictos requisitos de consistencia. Para abordar estos problemas, presentamos Speed-Dedup, un marco de deduplicación novedoso que emplea un enfoque de objeto principal deduplicado-semideduplicado de réplica. Esta estrategia reduce la amplificación de escritura al restringir la deduplicación al objeto principal mientras mantiene un objeto de réplica semideduplicado utilizado para confirmaciones inmediatas de lectura/escritura, mejorando así la latencia de E/S y la eficiencia de almacenamiento. Speed-Dedup también reemplaza los modelos tradicionales de consistencia fuerte con consistencia eventual, lo que permite operaciones de lectura no bloqueantes y mejora el rendimiento general del sistema. Los resultados experimentales demuestran que Speed-Dedup supera significativamente a métodos tradicionales como GRATE y CAO, mostrando hasta un 21% de mejora en el rendimiento de E/S bajo ratios bajos de deduplicación y manteniendo ganancias del 14% o más bajo ratios más altos. Además, la amplificación de escritura se reduce sustancialmente y la latencia mejora en más del 100% con tiempos de recuperación más rápidos durante fallos del sistema. Estos hallazgos destacan la efectividad de Speed-Dedup como una solución escalable y eficiente.
Descripción
Los sistemas de deduplicación convencionales enfrentan desafíos críticos como la amplificación excesiva de escritura, la alta latencia de lectura/escritura y la utilización subóptima de almacenamiento. Estas limitaciones a menudo socavan los beneficios de rendimiento de la deduplicación al ralentizar las confirmaciones de E/S debido a E/S de deduplicación amplificadas, replicación excesiva de fragmentos de datos y estrictos requisitos de consistencia. Para abordar estos problemas, presentamos Speed-Dedup, un marco de deduplicación novedoso que emplea un enfoque de objeto principal deduplicado-semideduplicado de réplica. Esta estrategia reduce la amplificación de escritura al restringir la deduplicación al objeto principal mientras mantiene un objeto de réplica semideduplicado utilizado para confirmaciones inmediatas de lectura/escritura, mejorando así la latencia de E/S y la eficiencia de almacenamiento. Speed-Dedup también reemplaza los modelos tradicionales de consistencia fuerte con consistencia eventual, lo que permite operaciones de lectura no bloqueantes y mejora el rendimiento general del sistema. Los resultados experimentales demuestran que Speed-Dedup supera significativamente a métodos tradicionales como GRATE y CAO, mostrando hasta un 21% de mejora en el rendimiento de E/S bajo ratios bajos de deduplicación y manteniendo ganancias del 14% o más bajo ratios más altos. Además, la amplificación de escritura se reduce sustancialmente y la latencia mejora en más del 100% con tiempos de recuperación más rápidos durante fallos del sistema. Estos hallazgos destacan la efectividad de Speed-Dedup como una solución escalable y eficiente.