Para hacer frente a las amenazas cibernéticas en constante evolución y en aumento, los sistemas de detección de intrusiones se han convertido en un componente crucial de la ciberseguridad. Comparados con los métodos de detección de intrusiones basados en firmas, los métodos basados en anomalías típicamente emplean técnicas de aprendizaje automático para entrenar modelos de detección y poseen la capacidad de descubrir ataques desconocidos. Sin embargo, los métodos de detección de intrusiones enfrentan el desafío de tasas de detección bajas para ataques de clases minoritarias debido a distribuciones de datos desequilibradas. Los algoritmos tradicionales de detección de intrusiones abordan este problema mediante el remuestreo o la generación de datos sintéticos. Además, el aprendizaje por refuerzo, como un método de aprendizaje automático que interactúa con el entorno para obtener retroalimentación y mejorar el rendimiento, está siendo considerado gradualmente para su aplicación en el campo de la detección de intrusiones. Este artículo propone un método de detección de intrusiones basado en aprendizaje por refuerzo que utiliza de manera innovadora la repetición de experiencias duales con distribución de muestras adaptativa para mejorar un algoritmo de aprendizaje por refuerzo, con el objetivo de abordar eficazmente el problema de la distribución desequilibrada de muestras. También hemos desarrollado un entorno de aprendizaje por refuerzo específicamente diseñado para tareas de detección de intrusiones. Los resultados experimentales demuestran que el modelo propuesto logra un rendimiento favorable en los conjuntos de datos NSL-KDD, AWID y CICIoT2023, abordando eficazmente los datos desequilibrados y mostrando un mejor rendimiento de clasificación en la detección de ataques minoritarios.