El uso de tecnologías de aprendizaje por refuerzo para aprender estrategias de descarga en sistemas de computación en el borde de múltiples accesos ha sido desarrollado por investigadores. Sin embargo, los sistemas a gran escala no son adecuados para el aprendizaje por refuerzo, debido a sus enormes espacios de estado y comportamientos de descarga. Por esta razón, este trabajo introduce el mecanismo de entrenamiento centralizado y ejecución descentralizada, diseñando un modelo de aprendizaje por refuerzo descentralizado para sistemas de computación en el borde de múltiples accesos. Considerando un servidor en la nube y varios servidores en el borde, se separan el entrenamiento y la ejecución en el modelo de aprendizaje por refuerzo. La ejecución ocurre en los dispositivos de borde del sistema, y los servidores en el borde no necesitan comunicación. Por el contrario, el proceso de entrenamiento ocurre en el dispositivo en la nube, lo que provoca una menor latencia de transmisión. El método desarrollado utiliza un algoritmo de gradiente de política determinista profunda para optimizar las estrategias de descarga. El experimento simulado muestra que nuestro método puede aprender la estrategia de descarga para cada dispositivo de borde de manera eficiente.