El aprendizaje por refuerzo es una técnica importante en varios campos, especialmente en el aprendizaje automático automatizado para el aprendizaje por refuerzo (AutoRL). La integración del aprendizaje por transferencia (TL) con AutoRL en la optimización combinatoria es un área que requiere más investigación. Este documento emplea tanto AutoRL como TL para abordar eficazmente los desafíos de optimización combinatoria, específicamente el problema del vendedor viajero asimétrico (ATSP) y el problema de ordenación secuencial (SOP). Se realizó un análisis estadístico para evaluar el impacto de TL en los problemas mencionados. Además, se introdujo el algoritmo Auto_TL_RL como una contribución novedosa, combinando las metodologías de AutoRL y TL. Los hallazgos empíricos respaldan fuertemente la eficacia de esta integración, lo que resulta en soluciones significativamente más eficientes que las técnicas convencionales, con una mejora del 85.7% en los resultados del análisis preliminar. Además, el tiempo de computación se redujo en 13 instancias (es decir, en el 92.8% de los problemas simulados). El modelo integrado con TL superó a los puntos de referencia óptimos, demostrando su convergencia superior. El diseño del algoritmo Auto_TL_RL permite transiciones suaves entre los dominios de ATSP y SOP. En una evaluación exhaustiva, Auto_TL_RL superó significativamente a las metodologías tradicionales en el 78% de las instancias analizadas.