Un desafío central en el diseño generativo es la exploración de un vasto número de soluciones. En este trabajo, extendemos dos métodos principales de optimización topológica estructural (OTS) basados en densidad, utilizando cuatro clases de algoritmos de exploración de aprendizaje por refuerzo (RL) para problemas de OTS, lo que aborda el diseño generativo de una nueva manera. Los cuatro métodos son: primero, utilizar una política -greedy para perturbar la dirección de búsqueda; segundo, utilizar el límite de confianza superior (UCB) para añadir un bono sobre la sensibilidad; por último, utilizar muestreo de Thompson (TS) así como muestreo dirigido por información (IDS) para dirigir la búsqueda, donde la función posterior de recompensa se ajusta mediante una distribución Beta o una distribución Gaussiana. Estos métodos combinados se evalúan en algunas tareas de minimización de cumplimiento estructural de 2D a 3D, incluyendo el problema de diseño de grosor variable de un traje de buceo atmosférico (ADS). Mostramos que todos los métodos pueden generar varias opciones de diseño aceptables al variar uno o dos parámetros de manera sencilla, excepto que IDS no logra alcanzar la convergencia para estructuras complejas debido a la limitación de la capacidad de cálculo. También mostramos que tanto la distribución Beta como la distribución Gaussiana funcionan bien para describir la probabilidad posterior.