Estrategia de Descarga Basada en Múltiples Colas para Tareas de Aprendizaje por Refuerzo Profundo
Autores: Huang, Ruize; Xie, Xiaolan; Guo, Qiang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Estrategia de Descarga Basada en Múltiples Colas para Tareas de Aprendizaje por Refuerzo Profundo
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Servicios de internet móvil
Realidad virtual
Realidad aumentada
Computación en el borde móvil
Descarga de tareas
Aprendizaje profundo por refuerzo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
Con el auge de los servicios de internet móvil, han surgido aplicaciones computacionalmente intensivas como la realidad virtual y aumentada. La tecnología de computación en el borde móvil (MEC) permite a los dispositivos móviles descargar tareas computacionales pesadas a servidores en el borde de la red. Esta técnica se considera un enfoque eficaz para ayudar a reducir la carga en los dispositivos y permitir una descarga eficiente de tareas. Este documento aborda un problema dinámico de descarga de tareas en tiempo real dentro de una red MEC multiusuario estocástica, centrándose en la estabilidad a largo plazo del consumo de energía del sistema y las restricciones del presupuesto de energía. Para resolver este problema, se propone una estrategia de descarga de tareas con restricciones a largo plazo, optimizada a través de la construcción de múltiples colas para mantener la calidad de experiencia (QoE) a largo plazo de los usuarios. El problema se desacopla utilizando la teoría de Lyapunov en un problema de un solo intervalo de tiempo, modelado como un proceso de decisión de Markov (MDP). Se introduce un algoritmo LMADDPG basado en aprendizaje profundo por refuerzo (DRL) para resolver la decisión de descarga de tareas. Finalmente, se realizan experimentos bajo las restricciones de un presupuesto de energía MEC limitado y la necesidad de mantener la estabilidad energética a largo plazo del sistema. Los resultados de los experimentos de simulación demuestran que el algoritmo supera a otros algoritmos de referencia en términos de decisiones de descarga de tareas.
Descripción
Con el auge de los servicios de internet móvil, han surgido aplicaciones computacionalmente intensivas como la realidad virtual y aumentada. La tecnología de computación en el borde móvil (MEC) permite a los dispositivos móviles descargar tareas computacionales pesadas a servidores en el borde de la red. Esta técnica se considera un enfoque eficaz para ayudar a reducir la carga en los dispositivos y permitir una descarga eficiente de tareas. Este documento aborda un problema dinámico de descarga de tareas en tiempo real dentro de una red MEC multiusuario estocástica, centrándose en la estabilidad a largo plazo del consumo de energía del sistema y las restricciones del presupuesto de energía. Para resolver este problema, se propone una estrategia de descarga de tareas con restricciones a largo plazo, optimizada a través de la construcción de múltiples colas para mantener la calidad de experiencia (QoE) a largo plazo de los usuarios. El problema se desacopla utilizando la teoría de Lyapunov en un problema de un solo intervalo de tiempo, modelado como un proceso de decisión de Markov (MDP). Se introduce un algoritmo LMADDPG basado en aprendizaje profundo por refuerzo (DRL) para resolver la decisión de descarga de tareas. Finalmente, se realizan experimentos bajo las restricciones de un presupuesto de energía MEC limitado y la necesidad de mantener la estabilidad energética a largo plazo del sistema. Los resultados de los experimentos de simulación demuestran que el algoritmo supera a otros algoritmos de referencia en términos de decisiones de descarga de tareas.