Se están buscando formas efectivas de optimizar la programación de bombas en tiempo real para maximizar la eficiencia energética y enfrentar los desafíos del mercado energético. Sin embargo, el considerable número de evaluaciones de métodos de optimización populares basados en metaheurísticas causa retrasos significativos en la programación de bombas en tiempo real, y la simplificación de métodos deterministas tradicionales puede introducir sesgos hacia las soluciones óptimas. Para abordar estas limitaciones, se propone un marco de aprendizaje por refuerzo profundo (DRL) mejorado por exploración para resolver problemas de programación de bombas en tiempo real en sistemas de distribución de agua. Los resultados experimentales indican que E-PPO puede aprender políticas de programación subóptimas para diversas distribuciones de demanda y puede controlar el tiempo de aplicación a 0.42 s al transferir la tarea de optimización intensiva en computación en línea a fuera de línea. Además, se encontró una forma de penalización del nivel del tanque que puede reducir los costos de energía en hasta un 11.14% sin sacrificar el nivel de agua a largo plazo. Siguiendo el marco de DRL, el método propuesto permite programar las bombas de manera más ágil como una respuesta oportuna a la demanda de agua cambiante, mientras se controla el costo de energía y el nivel de los tanques.