El enfoque de aprendizaje profundo de refuerzo para la respuesta dinámica de UAVs conectados de forma dual para solicitudes de comunicación en tiempo real aleatorias de múltiples puntos calientes
Autores: Yang, Shengzhi; Zhou, Jianming; Meng, Xiao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
El enfoque de aprendizaje profundo de refuerzo para la respuesta dinámica de UAVs conectados de forma dual para solicitudes de comunicación en tiempo real aleatorias de múltiples puntos calientes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Uav
Vigilancia
Monitoreo
Deep q-learning
Optimización
Algoritmo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Está empezando a popularizarse gradualmente el uso de múltiples UAV conectados a células como inspectores para cumplir con la vigilancia y monitoreo automático. Sin embargo, en situaciones reales, los UAV deben responder a varias solicitudes de servicio de diferentes puntos calientes, mientras que las solicitudes suelen presentar aleatoriedad en el tiempo de llegada, cantidad de datos y concurrencia. Este documento propone una política de respuesta dinámica de doble UAV para servicios multi-punto caliente basada en deep Q-learning de agente único, donde los UAV controlados por una estación base terrestre pueden ser despachados automáticamente a puntos calientes y luego enviar videos de regreso. Primero, este problema se formula como un problema de optimización, cuyo objetivo es maximizar el número de solicitudes atendidas con éxito con las restricciones tanto del límite de energía del UAV como del tiempo de espera de la solicitud. En segundo lugar, se diseña una función de recompensa basada en la finalización del servicio para superar los posibles desafíos planteados por la recompensa por retraso. Finalmente, se realizó una simulación, comparando el algoritmo convencional de prioridad de tiempo y el algoritmo de prioridad de distancia, respectivamente, con el algoritmo propuesto. Los resultados muestran que el algoritmo propuesto puede lograr una respuesta más que los demás bajo diferentes densidades de servicio, con el menor número de fallos y un tiempo de espera promedio adecuado. Este método puede ofrecer una solución técnica para el problema de comunicación y control conjunto de múltiples UAV dentro de situaciones complejas.
Descripción
Está empezando a popularizarse gradualmente el uso de múltiples UAV conectados a células como inspectores para cumplir con la vigilancia y monitoreo automático. Sin embargo, en situaciones reales, los UAV deben responder a varias solicitudes de servicio de diferentes puntos calientes, mientras que las solicitudes suelen presentar aleatoriedad en el tiempo de llegada, cantidad de datos y concurrencia. Este documento propone una política de respuesta dinámica de doble UAV para servicios multi-punto caliente basada en deep Q-learning de agente único, donde los UAV controlados por una estación base terrestre pueden ser despachados automáticamente a puntos calientes y luego enviar videos de regreso. Primero, este problema se formula como un problema de optimización, cuyo objetivo es maximizar el número de solicitudes atendidas con éxito con las restricciones tanto del límite de energía del UAV como del tiempo de espera de la solicitud. En segundo lugar, se diseña una función de recompensa basada en la finalización del servicio para superar los posibles desafíos planteados por la recompensa por retraso. Finalmente, se realizó una simulación, comparando el algoritmo convencional de prioridad de tiempo y el algoritmo de prioridad de distancia, respectivamente, con el algoritmo propuesto. Los resultados muestran que el algoritmo propuesto puede lograr una respuesta más que los demás bajo diferentes densidades de servicio, con el menor número de fallos y un tiempo de espera promedio adecuado. Este método puede ofrecer una solución técnica para el problema de comunicación y control conjunto de múltiples UAV dentro de situaciones complejas.