Un agente inteligente es un programa que puede tomar decisiones o realizar un servicio basado en su entorno, la entrada del usuario y experiencias. Debido a la complejidad de sus espacios de estado y acción, los agentes son aproximados por redes neuronales profundas (DNNs), y pueden ser optimizados utilizando métodos como el aprendizaje profundo por refuerzo y estrategias de evolución. Sin embargo, estos métodos incluyen evaluaciones basadas en simulaciones en el proceso de optimización, y son ineficientes si el costo de la simulación es alto. En este estudio, proponemos algoritmos genéticos asistidos por sustitutos (SGAs), cuyos modelos sustitutos se utilizan en la evaluación de la aptitud de los algoritmos genéticos, y los sustitutos también predicen recompensas acumulativas para los parámetros de DNN de un agente. Para mejorar los SGAs, aplicamos mejoras paso a paso que incluyeron múltiples sustitutos, estandarización de datos y muestreo con reducción dimensional. Realizamos experimentos utilizando los SGAs propuestos en entornos de referencia como el equilibrio de péndulo en carro y el aterrizaje lunar, y encontramos soluciones óptimas y redujimos significativamente el tiempo de cálculo. El tiempo de cálculo se redujo en un 38% y 95%, en los problemas de equilibrio de péndulo en carro y aterrizaje lunar, respectivamente. Incluso se encontró un agente con aproximadamente un 4% de mejor calidad que el encontrado por un método basado en gradientes para el problema de aterrizaje lunar.