La modelación y simulación de eventos discretos y el aprendizaje por refuerzo son dos marcos adecuados para el diseño de sistemas ciberfísicos, que, cuando se combinan, pueden ofrecer herramientas poderosas para la optimización de sistemas o el proceso de toma de decisiones, por ejemplo. Este artículo describe cómo la modelación y simulación de eventos discretos podrían integrarse en conceptos y herramientas de aprendizaje por refuerzo para ayudar en la realización de sistemas de aprendizaje por refuerzo, considerando más específicamente los aspectos temporales, jerárquicos y multiagente. Se presenta una visión general de estas diferentes mejoras basadas en la implementación del algoritmo de aprendizaje por refuerzo Q-Learning en el marco de las especificaciones de sistemas de eventos discretos (DEVS) y los formalismos de estructura de entidades del sistema (SES).