La tarea difícil de crear movilidad confiable para robots humanoides ha sido estudiada durante décadas. Aunque se han propuesto varias estrategias de caminata diferentes y el rendimiento de la caminata ha aumentado sustancialmente, la estabilidad aún necesita alcanzar las expectativas. Las aplicaciones de las técnicas de Aprendizaje por Refuerzo (RL) están limitadas por la baja convergencia y el entrenamiento ineficaz. Este documento desarrolla un nuevo marco robusto y eficiente basado en el robot humanoide Robotis-OP2 combinado con un controlador típico generador de trayectorias y Aprendizaje Profundo por Refuerzo (DRL) para superar estas limitaciones. Este marco consiste en optimizar los parámetros de la trayectoria de caminata y el sistema de equilibrio postural. Se utilizan múltiples sensores del robot para la optimización de parámetros. Los parámetros de caminata se optimizan utilizando la Red Q Doble Doble Duelo (D3QN), uno de los algoritmos de DRL, en el simulador Webots. Se adopta la estrategia de cadera para el sistema de equilibrio postural. Se realizan estudios experimentales tanto en simulación como en entornos reales con el marco propuesto y el algoritmo de caminata de Robotis-OP2. Los resultados experimentales muestran que el robot realiza una caminata más estable con el marco propuesto que con el algoritmo de caminata de Robotis-OP2. Se cree que el marco propuesto será beneficioso para los investigadores que estudian en el campo de la locomoción de robots humanoides.