Una solución práctica al problema de asignación de potencia en redes de celdas pequeñas ultra densas se puede lograr utilizando métodos de aprendizaje profundo por refuerzo (DRL). A diferencia de los algoritmos tradicionales, los métodos de DRL son capaces de lograr baja latencia y operar sin la necesidad de información global en tiempo real del estado del canal (CSI). Basándonos en el marco de trabajo de actor-crítico, proponemos una optimización de política del algoritmo de asignación de potencia (POPA) para redes de celdas pequeñas en este artículo. El POPA adopta el algoritmo de optimización de política proximal (PPO) para actualizar la política, lo que ha demostrado tener efectos estables de exploración y convergencia en nuestras simulaciones. Gracias a nuestra arquitectura propuesta de actor-crítico con ejecución distribuida y entrenamiento de exploración centralizado, el POPA puede cumplir con los requisitos en tiempo real y tiene escalabilidad multidimensional. A través de simulaciones, demostramos que el POPA supera a los métodos existentes en cuanto a eficiencia espectral. Nuestros hallazgos sugieren que el POPA puede tener un valor práctico para la asignación de potencia en redes de celdas pequeñas.