Adaptativamente periódica programación de E/S para aplicaciones HPC concurrentes
Autores: Zha, Benbo; Shen, Hong
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Adaptativamente periódica programación de E/S para aplicaciones HPC concurrentes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aplicaciones de aprendizaje automático de datos grandes
HPC
Periodicidad estocásticamente iterativa de E/S
Recursos de E/S
APIO.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Con la convergencia de big data y HPC (computación de alto rendimiento), diversas aplicaciones de aprendizaje automático y simulaciones tradicionales a gran escala con una periodicidad de E/S estocásticamente iterativa se ejecutan simultáneamente en plataformas de HPC, lo que plantea más desafíos en los escasos recursos de E/S compartidos debido a la creciente demanda de transferencia de datos. Actualmente, los métodos de programación de E/S en línea heurísticos existentes y periódicos fuera de línea para aplicaciones tradicionales de HPC con una periodicidad de E/S fija no son adecuados para las aplicaciones con periodicidades de E/S estocásticamente iterativas, que requieren programar las E/S concurrentes de diferentes aplicaciones bajo congestión de E/S. En este trabajo, proponemos un método de programación de E/S periódico adaptativo (APIO) que optimiza la eficiencia del sistema y la dilatación de la aplicación teniendo en cuenta la periodicidad de E/S estocásticamente iterativa de las aplicaciones. Primero construimos un método de programación fuera de línea periódico dentro de una duración especificada para capturar la naturaleza iterativa. Después, APIO ajusta la asignación de ancho de banda para resistir la estocasticidad basada en la longitud real de la fase de cálculo. En el caso de que la duración especificada no satisfaga los requisitos de ejecución reales, la longitud del período se extenderá para adaptarse a la duración real. El análisis teórico y las extensas simulaciones demuestran la eficiencia de nuestro método propuesto de programación de E/S sobre el enfoque en línea existente.
Descripción
Con la convergencia de big data y HPC (computación de alto rendimiento), diversas aplicaciones de aprendizaje automático y simulaciones tradicionales a gran escala con una periodicidad de E/S estocásticamente iterativa se ejecutan simultáneamente en plataformas de HPC, lo que plantea más desafíos en los escasos recursos de E/S compartidos debido a la creciente demanda de transferencia de datos. Actualmente, los métodos de programación de E/S en línea heurísticos existentes y periódicos fuera de línea para aplicaciones tradicionales de HPC con una periodicidad de E/S fija no son adecuados para las aplicaciones con periodicidades de E/S estocásticamente iterativas, que requieren programar las E/S concurrentes de diferentes aplicaciones bajo congestión de E/S. En este trabajo, proponemos un método de programación de E/S periódico adaptativo (APIO) que optimiza la eficiencia del sistema y la dilatación de la aplicación teniendo en cuenta la periodicidad de E/S estocásticamente iterativa de las aplicaciones. Primero construimos un método de programación fuera de línea periódico dentro de una duración especificada para capturar la naturaleza iterativa. Después, APIO ajusta la asignación de ancho de banda para resistir la estocasticidad basada en la longitud real de la fase de cálculo. En el caso de que la duración especificada no satisfaga los requisitos de ejecución reales, la longitud del período se extenderá para adaptarse a la duración real. El análisis teórico y las extensas simulaciones demuestran la eficiencia de nuestro método propuesto de programación de E/S sobre el enfoque en línea existente.