La conducción autónoma es un campo de investigación que ha recibido atención en los últimos años, con un aumento en las aplicaciones de algoritmos de aprendizaje por refuerzo (RL). No es práctico entrenar un vehículo autónomo de manera exhaustiva en el espacio físico, es decir, en el llamado "mundo real"; por lo tanto, se utilizan simuladores en casi todo el entrenamiento de algoritmos de conducción autónoma. Hay numerosos simuladores de conducción autónoma, de los cuales muy pocos están específicamente dirigidos al RL. Los coches basados en RL son desafiantes debido a la variedad de funciones de recompensa disponibles. Hay una falta de simuladores que aborden muchas tareas centrales de investigación en RL dentro de la conducción autónoma, como la comprensión de escenas, la localización y el mapeo, la planificación y las políticas de conducción, y el control, que tienen requisitos y objetivos diversos. Por lo tanto, es un desafío prototipar nuevos proyectos de RL con diferentes simuladores, especialmente cuando hay necesidad de examinar varias funciones de recompensa a la vez. Este documento presenta un simulador modificado basado en el simulador de Udacity, creado para coches autónomos utilizando RL. Crea funciones de recompensa, junto con sensores para crear una implementación base para vehículos basados en RL. El simulador modificado también reinicia el vehículo cuando se queda atascado o está en un bucle no terminante, haciéndolo más confiable. En general, el documento busca simplificar el prototipado de nuevos sistemas, con la prueba de diferentes sistemas basados en RL.