HetSev: aprovechando la escalabilidad automática consciente de la heterogeneidad y la programación eficiente de recursos para un servicio de modelos de aprendizaje automático rentable
Autores: Mo, Hao; Zhu, Ligu; Shi, Lei; Tan, Songfu; Wang, Suping
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
HetSev: aprovechando la escalabilidad automática consciente de la heterogeneidad y la programación eficiente de recursos para un servicio de modelos de aprendizaje automático rentable
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje automático
GPUs
Mecanismos de escalado automático
Cumplimiento de SLO
Consciente de la heterogeneidad
Utilización de recursos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Para acelerar la inferencia del modelo de aprendizaje automático (ML) en servicio, los clústeres de máquinas requieren el uso de aceleradores de hardware costosos (por ejemplo, GPUs) para reducir el tiempo de ejecución.
Descripción
Para acelerar la inferencia del modelo de aprendizaje automático (ML) en servicio, los clústeres de máquinas requieren el uso de aceleradores de hardware costosos (por ejemplo, GPUs) para reducir el tiempo de ejecución.