Arm-irl: métrica de resiliencia adaptativa cuantificación utilizando aprendizaje por refuerzo inverso
Autores: Sahu, Abhijeet; Venkatramanan, Venkatesh; Macwan, Richard
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Arm-irl: métrica de resiliencia adaptativa cuantificación utilizando aprendizaje por refuerzo inverso
Categoría
Ingeniería y Tecnología
Subcategoría
Inteligencia Artificial
Palabras clave
Resiliencia
Sistemas críticos de seguridad
Amenazas cibernéticas
Enfoque basado en datos
Aprendizaje por refuerzo inverso
Infraestructura crítica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
La resiliencia de los sistemas críticos de seguridad está ganando importancia debido al aumento de las amenazas cibernéticas y físicas, especialmente en infraestructuras críticas. Los métodos tradicionales de resiliencia estática pueden no capturar estados del sistema dinámicos, lo que lleva a evaluaciones inexactas y respuestas ineficaces a las amenazas cibernéticas. Este trabajo tiene como objetivo desarrollar un método adaptativo basado en datos para el aprendizaje de métricas de resiliencia. Proponemos un enfoque basado en datos que utiliza el aprendizaje por refuerzo inverso (IRL) para aprender una única métrica de resiliencia adaptativa. El método infiere una función de recompensa a partir de acciones de control de expertos. A diferencia de enfoques anteriores que utilizan pesos estáticos o lógica difusa, este trabajo aplica el aprendizaje por refuerzo inverso adversarial (AIRL), entrenando un generador y un discriminador en paralelo para aprender la estructura de recompensa y derivar una política óptima. El enfoque propuesto se evalúa en múltiples escenarios: reruteo óptimo de redes de comunicación, reconfiguración de redes de distribución de energía y restauración ciberfísica de cargas críticas utilizando el sistema de 123 buses del IEEE. La métrica de resiliencia adaptativa y aprendida permite una restauración más rápida de cargas críticas en comparación con enfoques de aprendizaje por refuerzo convencionales.
Descripción
La resiliencia de los sistemas críticos de seguridad está ganando importancia debido al aumento de las amenazas cibernéticas y físicas, especialmente en infraestructuras críticas. Los métodos tradicionales de resiliencia estática pueden no capturar estados del sistema dinámicos, lo que lleva a evaluaciones inexactas y respuestas ineficaces a las amenazas cibernéticas. Este trabajo tiene como objetivo desarrollar un método adaptativo basado en datos para el aprendizaje de métricas de resiliencia. Proponemos un enfoque basado en datos que utiliza el aprendizaje por refuerzo inverso (IRL) para aprender una única métrica de resiliencia adaptativa. El método infiere una función de recompensa a partir de acciones de control de expertos. A diferencia de enfoques anteriores que utilizan pesos estáticos o lógica difusa, este trabajo aplica el aprendizaje por refuerzo inverso adversarial (AIRL), entrenando un generador y un discriminador en paralelo para aprender la estructura de recompensa y derivar una política óptima. El enfoque propuesto se evalúa en múltiples escenarios: reruteo óptimo de redes de comunicación, reconfiguración de redes de distribución de energía y restauración ciberfísica de cargas críticas utilizando el sistema de 123 buses del IEEE. La métrica de resiliencia adaptativa y aprendida permite una restauración más rápida de cargas críticas en comparación con enfoques de aprendizaje por refuerzo convencionales.