El aprendizaje por refuerzo es un área crucial del aprendizaje automático, con una amplia gama de aplicaciones. Para llevar a cabo experimentos en este campo de investigación, es necesario definir los algoritmos y parámetros a aplicar. Sin embargo, esta tarea puede ser compleja debido a la variedad de configuraciones posibles. En este sentido, la adopción de sistemas AutoRL puede automatizar la selección de estas configuraciones, simplificando el proceso experimental. En este contexto, este trabajo tiene como objetivo proponer un entorno de simulación para problemas de optimización combinatoria utilizando AutoRL. El simulador AutoRL-Sim incluye varios módulos de experimentación que cubren estudios sobre el problema del vendedor viajero simétrico, el problema del vendedor viajero asimétrico y el problema de ordenación secuencial. Además, la optimización de parámetros se realiza utilizando modelos de superficie de respuesta. El simulador AutoRL-Sim permite a los usuarios llevar a cabo experimentos de una manera más práctica, sin necesidad de preocuparse por la implementación. Además, tienen la capacidad de analizar datos posteriores al experimento o guardarlos para análisis futuros.