El aprendizaje por refuerzo de Actor-Crítico Suave mejora la optimización del diseño de los internos de la columna de destilación
Autores: Fortela, Dhan Lord B.; Broussard, Holden; Ward, Renee; Broussard, Carly; Mikolajczyk, Ashley P.; Bayoumi, Magdy A.; Zappi, Mark E.
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
El aprendizaje por refuerzo de Actor-Crítico Suave mejora la optimización del diseño de los internos de la columna de destilación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Química
Palabras clave
Avances
Basado en computadora
Modelado de procesos químicos
Internos de columna de destilación
Actor-crítico suave
Aprendizaje por refuerzo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
En medio de los avances en los paquetes de modelado y simulación de procesos químicos basados en computadoras utilizados en aplicaciones comerciales destinadas a acelerar el diseño y análisis de procesos químicos, todavía hay ciertas tareas en la optimización del diseño, como el diseño de los internos de columnas de destilación, que se convierten en cuellos de botella debido a las limitaciones inherentes de dichos paquetes de software. Este trabajo demuestra el uso del aprendizaje por refuerzo (RL) con actor-crítico suave (SAC) para automatizar la tarea de determinar el diseño óptimo de columnas de destilación multietapa con bandejas. El entorno de diseño se creó utilizando el software AspenPlus (versión 12, Aspen Technology Inc., Bedford, Massachusetts, EE. UU.) con su módulo RadFrac para el modelado riguroso requerido de los internos de la columna. El trabajo computacional de RL se logró desarrollando un paquete de Python que permite la interfaz con AspenPlus y mediante la implementación en el módulo Gymnasium de OpenAI (versión 1.0.0, OpenAI Inc., San Francisco, California, EE. UU.) del espacio de aprendizaje para las variables de estado y acción. Los resultados muestran evidentemente que (1) el RL SAC funciona como un enfoque de automatización para el diseño de internos de columnas de destilación, (2) el esquema de recompensas en el modelo SAC afecta significativamente el rendimiento de SAC, (3) el diámetro de la columna es una restricción significativa para lograr las especificaciones de diseño de los internos de la columna en inundación, y (4) los hiperparámetros de SAC tienen efectos variables en el rendimiento de SAC. El RL SAC puede implementarse como un modelo de aprendizaje de una sola vez que puede mejorar significativamente el diseño de los internos de columnas de destilación multietapa al automatizar el proceso de optimización.
Descripción
En medio de los avances en los paquetes de modelado y simulación de procesos químicos basados en computadoras utilizados en aplicaciones comerciales destinadas a acelerar el diseño y análisis de procesos químicos, todavía hay ciertas tareas en la optimización del diseño, como el diseño de los internos de columnas de destilación, que se convierten en cuellos de botella debido a las limitaciones inherentes de dichos paquetes de software. Este trabajo demuestra el uso del aprendizaje por refuerzo (RL) con actor-crítico suave (SAC) para automatizar la tarea de determinar el diseño óptimo de columnas de destilación multietapa con bandejas. El entorno de diseño se creó utilizando el software AspenPlus (versión 12, Aspen Technology Inc., Bedford, Massachusetts, EE. UU.) con su módulo RadFrac para el modelado riguroso requerido de los internos de la columna. El trabajo computacional de RL se logró desarrollando un paquete de Python que permite la interfaz con AspenPlus y mediante la implementación en el módulo Gymnasium de OpenAI (versión 1.0.0, OpenAI Inc., San Francisco, California, EE. UU.) del espacio de aprendizaje para las variables de estado y acción. Los resultados muestran evidentemente que (1) el RL SAC funciona como un enfoque de automatización para el diseño de internos de columnas de destilación, (2) el esquema de recompensas en el modelo SAC afecta significativamente el rendimiento de SAC, (3) el diámetro de la columna es una restricción significativa para lograr las especificaciones de diseño de los internos de la columna en inundación, y (4) los hiperparámetros de SAC tienen efectos variables en el rendimiento de SAC. El RL SAC puede implementarse como un modelo de aprendizaje de una sola vez que puede mejorar significativamente el diseño de los internos de columnas de destilación multietapa al automatizar el proceso de optimización.