Los sistemas de almacenamiento de energía híbrida para vehículos eléctricos híbridos (HEVs) que consisten en múltiples fuentes de energía complementarias están ganando popularidad, ya que reducen el riesgo de quedarse sin electricidad y aumentan la vida útil de la batería. Sin embargo, diseñar un algoritmo de optimización de división de potencia eficiente para los HEVs es una tarea desafiante debido a su estructura compleja. Por lo tanto, en este documento, proponemos un modelo que aprende conjuntamente la división óptima de potencia para un HEV de batería/ultracapacitor/celda de combustible. En cuanto al sistema mecánico del HEV, se emplean dos máquinas de propulsión con características de operación complementarias para lograr una mayor eficiencia. Además, para entrenar y evaluar el modelo, se emplean ciclos de conducción estándar y ciclos de conducción reales como entrada al sistema mecánico. Luego, dados los datos de entrada, un modelo de memoria a corto y largo plazo con atención temporal predice la velocidad del próximo paso de tiempo, y a través de esa velocidad, se calcula la potencia de carga predicha y su correspondiente división óptima de potencia mediante un modelo de aprendizaje profundo de refuerzo suave actor-critic cuya fase de entrenamiento es asistida por funciones de recompensa conformadas. En contraste con las técnicas de optimización global, la predicción de la velocidad local y la potencia de carga sin conocimiento futuro del ciclo de conducción es un paso hacia la gestión óptima de energía en tiempo real. Los resultados experimentales muestran que el método propuesto es robusto ante diferentes valores iniciales de carga, asigna mejor la potencia a las fuentes de energía y gestiona de manera más efectiva el estado de carga de la batería y el ultracapacitor. Además, el uso de dos motores aumenta significativamente la eficiencia del sistema, y se demuestra que el paso de predicción es una manera confiable de planificar la división de potencia de HESS con anticipación.