Este documento propone un protocolo de control de acceso al medio (MAC) basado en aprendizaje profundo por refuerzo (DRL), es decir, acceso multi-canal profundo por aprendizaje de refuerzo multi-canal (MCT-DLMA) en redes inalámbricas heterogéneas (HetNets). El trabajo se refiere al tráfico del canal no saturado que llega siguiendo una distribución de Poisson en lugar del tráfico saturado que llega antes. Al aprender el modo de acceso a partir de información histórica, MCT-DLMA puede llenar adecuadamente los huecos espectrales en la comunicación de los usuarios existentes. En particular, permite al usuario cognitivo transmitir en múltiples canales a la vez, por ejemplo, a través de la tecnología de portadora múltiple. De esta forma, el recurso espectral puede ser completamente utilizado y se maximiza el rendimiento total de la HetNet. Los resultados de simulación muestran que el algoritmo propuesto proporciona un rendimiento mucho más alto que los esquemas convencionales, es decir, la política del índice de Whittle y los algoritmos DLMA para el tráfico saturado y no saturado, respectivamente. Además, también logra un resultado casi óptimo en entornos dinámicos con usuarios primarios cambiantes, lo que demuestra la mayor robustez ante comunicaciones variables en el tiempo.