Programación Dinámica de Grúas mediante la Integración del Aprendizaje por Refuerzo Profundo en un Marco de Gemelo Digital
Autores: Xu, Zhenyu; Chang, Daofang; Sun, Miaomiao; Luo, Tian
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Programación Dinámica de Grúas mediante la Integración del Aprendizaje por Refuerzo Profundo en un Marco de Gemelo Digital
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Gemelo digital
Aprendizaje por refuerzo profundo
Transporte de grúas
Programación dinámica
Sistema de servicio de taller
Proceso de decisión de Markov
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este estudio propone un marco de aplicación de gemelos digitales (DT) que integra algoritmos de aprendizaje por refuerzo profundo (DRL) para la programación dinámica del transporte de grúas en talleres. El DT se utiliza para construir la conexión entre el sistema de servicio del taller, el entorno de simulación lógica, el modelo de visualización 3D y el taller físico, y el DRL se utiliza para apoyar la decisión central en la programación. Primero, el problema de programación dinámica del transporte de grúas se construye como un proceso de decisión de Markov (MDP), y se diseña la correspondiente red Q profunda doble (DDQN) para interactuar con el entorno de simulación lógica y completar el entrenamiento offline del algoritmo. En segundo lugar, la DDQN entrenada se integra en el marco del DT, y luego se conecta con el taller físico y el sistema de servicio del taller para realizar la programación dinámica de grúas en línea basada en los estados en tiempo real del taller. Finalmente, se presentan estudios de caso de programación de grúas bajo escenarios de llegada dinámica de trabajos y fallos de equipos para demostrar la efectividad del marco propuesto. El análisis numérico muestra que el método propuesto es superior al método de programación dinámica tradicional y también es adecuado para problemas a gran escala.
Descripción
Este estudio propone un marco de aplicación de gemelos digitales (DT) que integra algoritmos de aprendizaje por refuerzo profundo (DRL) para la programación dinámica del transporte de grúas en talleres. El DT se utiliza para construir la conexión entre el sistema de servicio del taller, el entorno de simulación lógica, el modelo de visualización 3D y el taller físico, y el DRL se utiliza para apoyar la decisión central en la programación. Primero, el problema de programación dinámica del transporte de grúas se construye como un proceso de decisión de Markov (MDP), y se diseña la correspondiente red Q profunda doble (DDQN) para interactuar con el entorno de simulación lógica y completar el entrenamiento offline del algoritmo. En segundo lugar, la DDQN entrenada se integra en el marco del DT, y luego se conecta con el taller físico y el sistema de servicio del taller para realizar la programación dinámica de grúas en línea basada en los estados en tiempo real del taller. Finalmente, se presentan estudios de caso de programación de grúas bajo escenarios de llegada dinámica de trabajos y fallos de equipos para demostrar la efectividad del marco propuesto. El análisis numérico muestra que el método propuesto es superior al método de programación dinámica tradicional y también es adecuado para problemas a gran escala.