Ejecución Centralizada Localmente para Menos Cálculo Redundante en Cooperación Multi-Agente
Autores: Bai, Yidong; Sugawara, Toshiharu
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Ejecución Centralizada Localmente para Menos Cálculo Redundante en Cooperación Multi-Agente
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Ejecución descentralizada
Aprendizaje por refuerzo multiagente
Computación redundante
Transformador de equipo centralizado localmente
Transformador de equipo
Cambio de liderazgo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La ejecución descentralizada es un marco ampliamente utilizado en el aprendizaje por refuerzo multiagente. Sin embargo, tiene una desventaja bien conocida pero descuidada, la computación redundante, es decir, la misma o similar computación se realiza de manera redundante en diferentes agentes debido a sus observaciones superpuestas. Este estudio propone un método novedoso, el transformador de equipo centralizado localmente (LCTT), para abordar este problema. Este método primero propone un marco de ejecución centralizado localmente que determina de manera autónoma algunos agentes como líderes que generan instrucciones y otros agentes como trabajadores que actúan de acuerdo con las instrucciones recibidas sin ejecutar sus redes de políticas. Para el LCTT, posteriormente proponemos la estructura del transformador de equipo (T-Trans), que permite a los líderes generar instrucciones específicas para cada trabajador, y el cambio de liderazgo, que permite a los agentes determinar quiénes deben instruir o ser instruidos por otros. Los resultados experimentales demostraron que el método propuesto reduce significativamente las computaciones redundantes sin disminuir las recompensas y logra una convergencia de aprendizaje más rápida.
Descripción
La ejecución descentralizada es un marco ampliamente utilizado en el aprendizaje por refuerzo multiagente. Sin embargo, tiene una desventaja bien conocida pero descuidada, la computación redundante, es decir, la misma o similar computación se realiza de manera redundante en diferentes agentes debido a sus observaciones superpuestas. Este estudio propone un método novedoso, el transformador de equipo centralizado localmente (LCTT), para abordar este problema. Este método primero propone un marco de ejecución centralizado localmente que determina de manera autónoma algunos agentes como líderes que generan instrucciones y otros agentes como trabajadores que actúan de acuerdo con las instrucciones recibidas sin ejecutar sus redes de políticas. Para el LCTT, posteriormente proponemos la estructura del transformador de equipo (T-Trans), que permite a los líderes generar instrucciones específicas para cada trabajador, y el cambio de liderazgo, que permite a los agentes determinar quiénes deben instruir o ser instruidos por otros. Los resultados experimentales demostraron que el método propuesto reduce significativamente las computaciones redundantes sin disminuir las recompensas y logra una convergencia de aprendizaje más rápida.