En el actual panorama donde las amenazas de ciberseguridad están aumentando en complejidad y frecuencia, los mecanismos de defensa tradicionales como los firewalls basados en reglas y la detección basada en firmas están demostrando ser insuficientes. La dinámica y sofisticación de los ciberataques modernos requieren soluciones avanzadas que puedan evolucionar y adaptarse en tiempo real. Ingresa al campo del aprendizaje profundo por refuerzo (DRL), una rama de la inteligencia artificial que ha estado abordando de manera efectiva problemas de toma de decisiones complejos en diversos ámbitos, incluida la ciberseguridad. En este estudio, avanzamos en el campo implementando un marco de DRL para simular ciberataques, basándonos en escenarios auténticos para mejorar el realismo y la aplicabilidad de las simulaciones. Al adaptar meticulosamente los algoritmos de DRL a los requisitos matizados de los contextos de ciberseguridad, como estructuras de recompensa y acciones personalizadas, entrenamiento adversarial y entornos dinámicos, proporcionamos un enfoque a medida que mejora significativamente los métodos tradicionales. Nuestra investigación realiza un análisis comparativo exhaustivo de tres sofisticados algoritmos de DRL: red neuronal profunda Q (DQN), actor-critic y optimización de políticas proximales (PPO), frente al algoritmo de RL tradicional Q-learning, dentro de un entorno de simulación controlado que refleja amenazas cibernéticas del mundo real. Los resultados son sorprendentes: el algoritmo actor-critic no solo superó a sus contrapartes con una tasa de éxito del 0.78, sino que también demostró una eficiencia superior, requiriendo el menor número de iteraciones (171) para completar un episodio y logrando la mayor recompensa promedio de 4.8. En comparación, DQN, PPO y Q-learning quedaron ligeramente rezagados. Estos resultados subrayan el impacto crítico de seleccionar el algoritmo más adecuado para las simulaciones de ciberseguridad, ya que la elección correcta conduce a estrategias de aprendizaje y defensa más efectivas. El impresionante rendimiento del algoritmo actor-critic en este estudio marca un avance significativo hacia el desarrollo de sistemas de ciberseguridad adaptativos e inteligentes capaces de contrarrestar el panorama cada vez más sofisticado de las amenazas cibernéticas. Nuestro estudio no solo aporta un modelo sólido para simular amenazas cibernéticas, sino que también proporciona un marco escalable que se puede adaptar a diversos desafíos de ciberseguridad.