El número cada vez mayor de vehículos en la carretera ejerce presión sobre los fabricantes de automóviles para que hagan sus vehículos más eficientes en combustible. Con vehículos autónomos, podemos encontrar nuevas estrategias para optimizar los combustibles. Proponemos un algoritmo de aprendizaje por refuerzo que entrena redes neuronales profundas para generar un perfil de velocidad eficiente en combustible para vehículos autónomos dado la información de altitud de la carretera para el viaje planificado. Utilizando un programa de simulación de economía de combustible ampliamente aceptado en la industria, entrenamos nuestro modelo de red neuronal profunda. Desarrollamos una técnica para adaptar el programa de simulación heterogéneo sobre un marco de aprendizaje profundo de código abierto, y reducimos la dimensión de la salida del problema con una parametrización adecuada para entrenar la red neuronal mucho más rápido. El modelo aprendido combinado con la generación de estrategias basadas en aprendizaje por refuerzo generó efectivamente el perfil de velocidad para que los vehículos autónomos puedan seguirlo para controlarse de manera eficiente en combustible. Evaluamos el rendimiento de nuestro algoritmo utilizando el programa de simulación de economía de combustible para varios perfiles de altitud. También demostramos que nuestro método puede enseñar a las redes neuronales a generar estrategias útiles para aumentar la economía de combustible incluso en carreteras no vistas. Nuestro método mejoró la economía de combustible en un 8% en comparación con un enfoque de búsqueda en cuadrícula simple.