El algoritmo JAYA es un algoritmo metaheurístico basado en poblaciones propuesto en años recientes que ha demostrado ser adecuado para resolver problemas de optimización global y de ingeniería debido a su simplicidad, fácil implementación y característica guía de esforzarse por lo mejor y evitar lo peor. En este estudio, se propone un algoritmo JAYA discreto mejorado basado en aprendizaje por refuerzo y recocido simulado (QSA-DJAYA) para resolver el conocido problema del viajante de comercio en optimización combinatoria. Específicamente, en primer lugar, se incrusta el algoritmo básico de Q-learning en el aprendizaje por refuerzo en el algoritmo propuesto para que pueda elegir el operador de transformación más prometedor para el estado actual y actualizar la solución. En segundo lugar, para equilibrar las capacidades de exploración y explotación del algoritmo QSA-DJAYA, se introduce el criterio de aceptación de Metropolis del algoritmo de recocido simulado para determinar si se aceptan las soluciones candidatas. En tercer lugar, se aplica 3-opt a la mejor solución de la iteración actual con cierta frecuencia para mejorar la eficiencia del algoritmo. Finalmente, para evaluar el rendimiento del algoritmo QSA-DJAYA, se ha probado en 21 conjuntos de datos de referencia tomados de TSPLIB y se ha comparado con otros algoritmos competitivos en dos grupos de experimentos comparativos. Los resultados de las pruebas experimentales y de significancia estadística muestran que el algoritmo QSA-DJAYA logra resultados significativamente mejores en la mayoría de los casos.