Las pruebas de penetración (también conocidas como pentesting o PT) son una práctica común para evaluar activamente las defensas de una red informática mediante la planificación y ejecución de todos los posibles ataques para descubrir y explotar vulnerabilidades existentes. Los métodos actuales de pruebas de penetración están convirtiéndose cada vez más en no estándar, compuestos y que consumen muchos recursos a pesar del uso de herramientas en evolución. En este documento, proponemos y evaluamos un sistema de pentesting basado en IA que utiliza técnicas de aprendizaje automático, a saber, el aprendizaje por refuerzo (RL) para aprender y reproducir actividades de pentesting promedio y complejas. El sistema propuesto se llama Sistema Inteligente de Pruebas de Penetración Automatizadas (IAPTS) y consiste en un módulo que se integra con marcos de PT industriales para permitirles capturar información, aprender de la experiencia y reproducir pruebas en futuros casos de prueba similares. IAPTS tiene como objetivo ahorrar recursos humanos mientras produce resultados mucho mejorados en términos de consumo de tiempo, fiabilidad y frecuencia de pruebas. IAPTS adopta el enfoque de modelar los entornos y tareas de PT como un problema de proceso de decisión de Markov parcialmente observado (POMDP) que se resuelve mediante un solucionador de POMDP. Aunque el alcance de este documento se limita a la planificación de PT de infraestructuras de red y no a toda la práctica, los resultados obtenidos apoyan la hipótesis de que el RL puede mejorar el PT más allá de las capacidades de cualquier experto humano en PT en términos de tiempo consumido, vectores de ataque cubiertos, precisión y fiabilidad de los resultados. Además, este trabajo aborda el complejo problema de la captura y reutilización de la experiencia al permitir que el módulo de aprendizaje de IAPTS almacene y reutilice políticas de PT de la misma manera que un experto humano en PT aprendería, pero de una manera más eficiente.