Muchos problemas de seguridad en los sistemas de software se deben a vulnerabilidades causadas por configuraciones incorrectas. Un sistema de software mal configurado conduce a una multitud de vulnerabilidades que pueden ser explotadas por adversarios. El problema se vuelve aún más grave cuando la arquitectura del sistema subyacente es estática y la mala configuración permanece durante un período más largo de tiempo, lo que permite a los adversarios inspeccionar minuciosamente el sistema de software atacado durante la etapa de reconocimiento. Emplear técnicas de diversificación como la Defensa de Objetivos en Movimiento (MTD) puede minimizar el riesgo de exponer vulnerabilidades. MTD es una técnica de defensa en evolución a través de la cual la superficie de ataque del sistema subyacente está cambiando continuamente. Sin embargo, la efectividad de dicha plataforma que cambia dinámicamente depende no solo de la bondad de la próxima configuración con respecto a la minimización de las superficies de ataque, sino también de la diversidad del conjunto de configuraciones generadas. Para abordar el problema de generar un conjunto diverso y grande de configuraciones seguras de software y sistemas, este documento introduce un enfoque basado en Aprendizaje por Refuerzo (RL) a través del cual un agente es entrenado para generar el conjunto deseable de configuraciones. El documento informa sobre el rendimiento de las configuraciones seguras y diversas basadas en RL a través de algunos estudios de caso.