Horario de ranura con aprendizaje por refuerzo utilizando una red neuronal Q profunda doble
Autores: Ryu, Jihye; Kwon, Juhyeok; Ryoo, Jeong-Dong; Cheung, Taesik; Joung, Jinoo
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Horario de ranura con aprendizaje por refuerzo utilizando una red neuronal Q profunda doble
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje por refuerzo
Programación de red
Algoritmo de programación de intervalos de tiempo
Red neuronal de doble Q profundo
Función de recompensa
Programación de intervalos de tiempo autónoma
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
La adopción del aprendizaje por refuerzo en el área de programación de redes está recibiendo más atención que nunca debido a su flexibilidad para adaptarse a los cambios dinámicos del tráfico de red y del estado de la red. En este estudio, se diseña un algoritmo de programación de intervalos de tiempo para el tráfico, con requisitos similares pero prioridades diferentes, utilizando una red neuronal profunda doble (DDQN), un algoritmo de aprendizaje por refuerzo. Para evaluar el comportamiento del agente DDQN, se define una función de recompensa basada en la diferencia entre la demora estimada y la fecha límite de los paquetes transmitidos en el intervalo de tiempo, y en la prioridad de los paquetes. La simulación mostró que el algoritmo de programación diseñado funciona mejor que los algoritmos existentes, como el de prioridad estricta (SP) o el planificador de peso redondo (WRR), en el sentido de que más paquetes llegaron dentro del plazo. Al utilizar el planificador propuesto basado en DDQN, se espera que la programación de redes autónoma se pueda realizar en marcos futuros, como las redes sensibles al tiempo o deterministas.
Descripción
La adopción del aprendizaje por refuerzo en el área de programación de redes está recibiendo más atención que nunca debido a su flexibilidad para adaptarse a los cambios dinámicos del tráfico de red y del estado de la red. En este estudio, se diseña un algoritmo de programación de intervalos de tiempo para el tráfico, con requisitos similares pero prioridades diferentes, utilizando una red neuronal profunda doble (DDQN), un algoritmo de aprendizaje por refuerzo. Para evaluar el comportamiento del agente DDQN, se define una función de recompensa basada en la diferencia entre la demora estimada y la fecha límite de los paquetes transmitidos en el intervalo de tiempo, y en la prioridad de los paquetes. La simulación mostró que el algoritmo de programación diseñado funciona mejor que los algoritmos existentes, como el de prioridad estricta (SP) o el planificador de peso redondo (WRR), en el sentido de que más paquetes llegaron dentro del plazo. Al utilizar el planificador propuesto basado en DDQN, se espera que la programación de redes autónoma se pueda realizar en marcos futuros, como las redes sensibles al tiempo o deterministas.