Este documento propone Hermes, un marco de programación de GPU preemptivo basado en contenedores para acelerar la optimización de hiperparámetros en clústeres de aprendizaje profundo (DL). Hermes acelera la optimización de hiperparámetros mediante el intercambio de tiempo entre trabajos de DL y priorizando trabajos con combinaciones de hiperparámetros más prometedoras. La política de programación de Hermes se basa en la observación de que las buenas combinaciones de hiperparámetros convergen rápidamente en las fases iniciales del entrenamiento. Al dar prioridad a los contenedores que convergen rápidamente, el mecanismo de preemptación de GPU de Hermes puede acelerar el entrenamiento. Esto permite a los usuarios encontrar hiperparámetros óptimos más rápido sin perder el progreso de un contenedor. Hemos implementado Hermes sobre Kubernetes y comparado su rendimiento con marcos de programación existentes. Los experimentos muestran que Hermes reduce el tiempo de optimización de hiperparámetros hasta 4.04 veces en comparación con políticas de programación previamente propuestas como FIFO, round-robin (RR) y SLAQ, con un mínimo sobrecoste de intercambio de tiempo.