El Internet de las Cosas (IoT) es un habilitador clave de la mutación digital de nuestra sociedad. Impulsadas por diversos servicios y aplicaciones, las Comunicaciones de Tipo Máquina (MTC) se convertirán en una parte integral de nuestra vida diaria en los próximos años. Cumpliendo con los requisitos de la UIT-T, en términos de densidad, duración de la batería, cobertura, precio y mecanismos y funcionalidades soportados, el IoT celular, y particularmente el Narrowband-IoT (NB-IoT), se identifica como un candidato prometedor para manejar accesos masivos de MTC. Sin embargo, esta conectividad masiva representaría un gran desafío para los operadores de red en términos de escalabilidad. De hecho, la conexión a la red en el IoT celular pasa por un procedimiento de acceso aleatorio y una alta concentración de dispositivos IoT podría, muy rápidamente, llevar a un cuello de botella. Este último procedimiento necesita, entonces, ser mejorado ya que la conectividad sería considerable. Con esto en mente, proponemos, en este documento, aplicar el mecanismo de restricción de clase de acceso (ACB) para regular el número de dispositivos que compiten por el acceso. Para derivar el factor de bloqueo, formulamos el problema de acceso como un proceso de decisión de Markov que pudimos resolver utilizando una de las técnicas más avanzadas de aprendizaje por refuerzo profundo. La evaluación del control de acceso propuesto, a través de simulaciones, muestra la efectividad de nuestro enfoque en comparación con enfoques existentes como el adaptativo y el controlador Proporcional Integral Derivativo (PID). De hecho, logra mantener la proporción de intentos de acceso cerca del óptimo, a pesar de la falta de información precisa sobre el número de intentos de acceso.