Un Método de Aprendizaje por Refuerzo Jerárquico para la Toma de Decisiones Inteligente en Operaciones Conjuntas de Sistemas No Tripulados Marítimos y Aéreos
Autores: Li, Chen; Dong, Wenhan; He, Lei; Cai, Ming; Li, Yang
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Un Método de Aprendizaje por Refuerzo Jerárquico para la Toma de Decisiones Inteligente en Operaciones Conjuntas de Sistemas No Tripulados Marítimos y Aéreos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Desafíos
Toma de decisiones inteligente
Simulaciones de operaciones conjuntas
Aprendizaje por refuerzo jerárquico
Experimentos de ablación
Operaciones no tripuladas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Para abordar los desafíos de la toma de decisiones inteligente en espacios de estado-acción complejos y de alta dimensión durante simulaciones de operaciones conjuntas de sistemas no tripulados mar-aire, se propone un esquema de toma de decisiones inteligente de extremo a extremo. Inicialmente, se diseña un método de toma de decisiones inteligente jerárquico altamente versátil para escenarios de simulación de operaciones conjuntas mar-aire. Posteriormente, se adopta un enfoque que combina recompensas intrínsecas y extrínsecas para mitigar estructuralmente los efectos adversos de las recompensas escasas. A continuación, se idean un método de detección de prominencia y un método de filtrado de penalización por repetición, lo que lleva al desarrollo de un algoritmo de aprendizaje por refuerzo jerárquico basado en un enfoque de selección de dos niveles para subobjetivos potenciales. Finalmente, se valida la viabilidad del método propuesto a través de experimentos de ablación y estudios de simulación visualizados. Los resultados de la simulación demuestran que el método presentado ofrece un cierto valor de referencia para la investigación en toma de decisiones inteligente para operaciones no tripuladas y puede aplicarse a estudios innovadores en estrategias de respuesta relacionadas.
Descripción
Para abordar los desafíos de la toma de decisiones inteligente en espacios de estado-acción complejos y de alta dimensión durante simulaciones de operaciones conjuntas de sistemas no tripulados mar-aire, se propone un esquema de toma de decisiones inteligente de extremo a extremo. Inicialmente, se diseña un método de toma de decisiones inteligente jerárquico altamente versátil para escenarios de simulación de operaciones conjuntas mar-aire. Posteriormente, se adopta un enfoque que combina recompensas intrínsecas y extrínsecas para mitigar estructuralmente los efectos adversos de las recompensas escasas. A continuación, se idean un método de detección de prominencia y un método de filtrado de penalización por repetición, lo que lleva al desarrollo de un algoritmo de aprendizaje por refuerzo jerárquico basado en un enfoque de selección de dos niveles para subobjetivos potenciales. Finalmente, se valida la viabilidad del método propuesto a través de experimentos de ablación y estudios de simulación visualizados. Los resultados de la simulación demuestran que el método presentado ofrece un cierto valor de referencia para la investigación en toma de decisiones inteligente para operaciones no tripuladas y puede aplicarse a estudios innovadores en estrategias de respuesta relacionadas.