Algoritmo de Toma de Decisiones Inteligente para el Jamming de Confrontación de Enjambres de UAV: Un Enfoque Basado en M2AC
Autores: He, Runze; Wu, Di; Hu, Tao; Tian, Zhifu; Yang, Siwei; Xu, Ziliang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Algoritmo de Toma de Decisiones Inteligente para el Jamming de Confrontación de Enjambres de UAV: Un Enfoque Basado en M2AC
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Vehículo aéreo no tripulado
Confrontación de enjambres de UAV mediante interferencia
Toma de decisiones inteligente
Modelo de actor-crítico multiagente
Juegos de Markov
Algoritmo de aprendizaje por refuerzo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La confrontación de enjambres de vehículos aéreos no tripulados (VANT) mediante interferencia ofrece una contramedida rentable y de largo alcance contra enjambres hostiles. La toma de decisiones inteligente es un factor clave para garantizar su efectividad. En respuesta al problema de baja puntualidad causado por la programación lineal en los algoritmos actuales, este documento propone un algoritmo de toma de decisiones inteligente para la interferencia en la confrontación de enjambres de VANT basado en el modelo de actor-crítico de múltiples agentes (M2AC). Primero, basado en juegos de Markov, se construye un modelo matemático de toma de decisiones inteligente para transformar el escenario de interferencia en un problema matemático simbolizado. En segundo lugar, la función indicadora bajo este paradigma de aprendizaje se diseña combinando el algoritmo actor-crítico con juegos de Markov. Finalmente, al emplear un algoritmo de aprendizaje por refuerzo con entrenamiento paralelo multihilo y ejecución contrastiva para resolver el modelo, se obtiene una solución de equilibrio perfecto de Markov. Los resultados experimentales indican que el algoritmo basado en M2AC puede lograr velocidades de entrenamiento y toma de decisiones más rápidas, mientras obtiene efectivamente una solución de equilibrio perfecto de Markov. El tiempo de entrenamiento se reduce a menos del 50% en comparación con el algoritmo base, manteniendo los tiempos de decisión por debajo de 0.05 s en todas las condiciones de simulación. Esto ayuda a aliviar el problema de baja puntualidad de los algoritmos de toma de decisiones inteligentes en la interferencia de enjambres de VANT bajo condiciones en tiempo real altamente dinámicas, lo que conduce a operaciones de enjambres de VANT más efectivas y eficientes en varios escenarios de interferencia y guerra electrónica.
Descripción
La confrontación de enjambres de vehículos aéreos no tripulados (VANT) mediante interferencia ofrece una contramedida rentable y de largo alcance contra enjambres hostiles. La toma de decisiones inteligente es un factor clave para garantizar su efectividad. En respuesta al problema de baja puntualidad causado por la programación lineal en los algoritmos actuales, este documento propone un algoritmo de toma de decisiones inteligente para la interferencia en la confrontación de enjambres de VANT basado en el modelo de actor-crítico de múltiples agentes (M2AC). Primero, basado en juegos de Markov, se construye un modelo matemático de toma de decisiones inteligente para transformar el escenario de interferencia en un problema matemático simbolizado. En segundo lugar, la función indicadora bajo este paradigma de aprendizaje se diseña combinando el algoritmo actor-crítico con juegos de Markov. Finalmente, al emplear un algoritmo de aprendizaje por refuerzo con entrenamiento paralelo multihilo y ejecución contrastiva para resolver el modelo, se obtiene una solución de equilibrio perfecto de Markov. Los resultados experimentales indican que el algoritmo basado en M2AC puede lograr velocidades de entrenamiento y toma de decisiones más rápidas, mientras obtiene efectivamente una solución de equilibrio perfecto de Markov. El tiempo de entrenamiento se reduce a menos del 50% en comparación con el algoritmo base, manteniendo los tiempos de decisión por debajo de 0.05 s en todas las condiciones de simulación. Esto ayuda a aliviar el problema de baja puntualidad de los algoritmos de toma de decisiones inteligentes en la interferencia de enjambres de VANT bajo condiciones en tiempo real altamente dinámicas, lo que conduce a operaciones de enjambres de VANT más efectivas y eficientes en varios escenarios de interferencia y guerra electrónica.