Un Generador de Números Pseudoaleatorios (PRNG) es cualquier algoritmo que genera una secuencia de números que aproxima las propiedades de los números aleatorios. Estos números son ampliamente utilizados en criptografía de nivel medio y en aplicaciones de software. Las pruebas se utilizan para evaluar la calidad de los PRNGs mediante la verificación de propiedades estadísticas de las secuencias generadas. Estas secuencias suelen representarse bit a bit. Este documento propone un enfoque de Aprendizaje por Refuerzo (RL) para la tarea de generar PRNGs desde cero mediante el aprendizaje de una política para resolver un Proceso de Decisión de Markov (MDP) parcialmente observable, donde el estado completo es el período de la secuencia generada, y la observación en cada paso de tiempo es la última secuencia de bits añadida a dichos estados. Utilizamos la arquitectura de Memoria a Corto y Largo Plazo (LSTM) para modelar la relación temporal entre observaciones en diferentes pasos de tiempo al encomendar a la memoria LSTM la extracción de características significativas de la porción oculta de los estados del MDP. Mostramos que modelar un PRNG con un MDP parcialmente observable y una arquitectura LSTM mejora en gran medida los resultados del enfoque de RL de avance hacia adelante completamente observable presentado en trabajos anteriores.