Impulsado por los avances en tecnologías de la información e internet, las aplicaciones basadas en redes han desarrollado rápidamente, y la ciberseguridad se ha vuelto más crítica. Inspirado por el éxito del Aprendizaje por Refuerzo (RL) en muchos dominios, este documento propone un Sistema de Detección de Intrusiones (IDS) para mejorar la ciberseguridad. El IDS basado en dos algoritmos de RL, es decir, Deep Q-Learning y Policy Gradient, está cuidadosamente formulado, diseñado estratégicamente y evaluado a nivel de paquete y nivel de flujo utilizando el conjunto de datos CICDDoS2019. En comparación con otros trabajos de investigación en una línea similar de investigación, este documento se enfoca en proporcionar un paradigma de diseño sistemático y completo de IDS basado en algoritmos de RL, tanto a nivel de paquete como de flujo. Para el IDS basado en RL a nivel de paquete, primero, los datos de sesión se transforman en imágenes a través de un método de incrustación de imágenes propuesto en este trabajo. Se realiza una comparación entre Redes Neuronales Convolucionales 1D (1D-CNN) y CNN para extraer características de estas imágenes (para el posterior entrenamiento del agente de RL) a partir de los resultados cuantitativos. Además, se diseña un módulo de detección de anomalías para detectar tráfico de red desconocido. Para el IDS a nivel de flujo, se adopta una Red Generativa Adversaria Condicional (CGAN) y la estrategia -greedy en el diseño del módulo de exploración para el entrenamiento del agente de RL. Para mejorar la robustez de la detección de intrusiones, se introduce un agente de muestra con una política de recompensa complementaria del agente de RL con el propósito de entrenamiento adversarial. Los resultados experimentales del IDS propuesto basado en RL muestran resultados mejorados sobre los algoritmos de vanguardia presentados en la literatura para IDS a nivel de paquete y nivel de flujo.