Estrategia de descarga basada en aprendizaje por refuerzo neural de grafos en computación de borde móvil
Autores: Wang, Tao; Ouyang, Xue; Sun, Dingmi; Chen, Yimin; Li, Hao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Estrategia de descarga basada en aprendizaje por refuerzo neural de grafos en computación de borde móvil
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Computación móvil en el borde
Estaciones base
Conexiones
Aprendizaje profundo por refuerzo
Red neuronal gráfica
M-GNRL
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
En la arquitectura de computación en el borde móvil (MEC), las estaciones base con capacidades computacionales están sujetas a limitaciones de cobertura de servicio, y la movilidad de los dispositivos conduce a cambios dinámicos en sus conexiones, impactando directamente en las decisiones de descarga de los agentes. Las conexiones entre las estaciones base y los dispositivos móviles, así como las conexiones entre las propias estaciones base, se abstraen en un diagrama estructural de MEC debido a la dificultad del aprendizaje profundo por refuerzo (DRL) para capturar las relaciones complejas entre los nodos y sus nodos vecinos de múltiples órdenes en el grafo; las decisiones generadas únicamente por DRL tienen limitaciones. Para abordar este problema, este estudio propone una estrategia de mecanismo jerárquico basada en Aprendizaje de Refuerzo Neural de Grafos (M-GNRL) bajo múltiples restricciones. Específicamente, el grafo estructural de MEC construido con el dispositivo actual como punto de observación se agrega para aprender características de nodos, considerando de manera integral la información contextual de los nodos, y la información del grafo aprendida sirve como entorno para el aprendizaje profundo por refuerzo, integrando de manera efectiva una red neuronal de grafos (GNN) con DRL. En la estrategia M-GNRL, se introducen características de borde de GNN en la arquitectura de la red DRL para mejorar la precisión en la toma de decisiones de los agentes. Además, este estudio propone un algoritmo actualizado para obtener datos de grafo que cambian con los puntos de observación. Experimentos comparativos demuestran que el algoritmo M-GNRL supera a otros algoritmos base en cuanto al costo del sistema y el rendimiento de convergencia.
Descripción
En la arquitectura de computación en el borde móvil (MEC), las estaciones base con capacidades computacionales están sujetas a limitaciones de cobertura de servicio, y la movilidad de los dispositivos conduce a cambios dinámicos en sus conexiones, impactando directamente en las decisiones de descarga de los agentes. Las conexiones entre las estaciones base y los dispositivos móviles, así como las conexiones entre las propias estaciones base, se abstraen en un diagrama estructural de MEC debido a la dificultad del aprendizaje profundo por refuerzo (DRL) para capturar las relaciones complejas entre los nodos y sus nodos vecinos de múltiples órdenes en el grafo; las decisiones generadas únicamente por DRL tienen limitaciones. Para abordar este problema, este estudio propone una estrategia de mecanismo jerárquico basada en Aprendizaje de Refuerzo Neural de Grafos (M-GNRL) bajo múltiples restricciones. Específicamente, el grafo estructural de MEC construido con el dispositivo actual como punto de observación se agrega para aprender características de nodos, considerando de manera integral la información contextual de los nodos, y la información del grafo aprendida sirve como entorno para el aprendizaje profundo por refuerzo, integrando de manera efectiva una red neuronal de grafos (GNN) con DRL. En la estrategia M-GNRL, se introducen características de borde de GNN en la arquitectura de la red DRL para mejorar la precisión en la toma de decisiones de los agentes. Además, este estudio propone un algoritmo actualizado para obtener datos de grafo que cambian con los puntos de observación. Experimentos comparativos demuestran que el algoritmo M-GNRL supera a otros algoritmos base en cuanto al costo del sistema y el rendimiento de convergencia.