La mayoría de los estudios actuales sobre la toma de decisiones y el control de vehículos autónomos basados en el aprendizaje por refuerzo se realizan en entornos simulados. El entrenamiento y la prueba de estos estudios se llevan a cabo bajo la condición de flujo de tráfico microscópico basado en reglas, con poca consideración sobre la posibilidad de trasladarlos a entornos reales o casi reales. Esto puede llevar a una degradación del rendimiento cuando el modelo entrenado se prueba en escenas de tráfico más realistas. En este estudio, proponemos un método para aleatorizar el comportamiento de conducción de los vehículos circundantes al aleatorizar ciertos parámetros de los modelos de seguimiento de vehículos y cambio de carril del flujo de tráfico microscópico basado en reglas. Entrenamos políticas con algoritmos de aprendizaje por refuerzo profundo bajo el flujo de tráfico microscópico basado en reglas aleatorizado en escenas de autopista y fusión, y luego las probamos por separado en flujos de tráfico microscópico basados en reglas y de alta fidelidad. Los resultados indican que las políticas entrenadas bajo flujo de tráfico aleatorizado tienen tasas de éxito y recompensas episódicas significativamente mejores en comparación con las entrenadas bajo flujo de tráfico no aleatorizado.