A reinforcement learning-based hybrid modeling framework for bioprocess kinetics identification.
A reinforcement learning-based hybrid modeling framework for bioprocess kinetics identification.
复制标题
基于强化学习的生物过程动力学识别混合建模框架。
DOI：
10.1002/bit.28262
复制
发表时间：
2023-01
影响因子：
3.8
通讯作者：
Zhang, Dongda
中科院分区：
文献类型：
--
作者：
Mowbray, Max R.;Wu, Chufan;Rogers, Alexander W.;Del Rio-Chanona, Ehecatl A.;Zhang, Dongda
关键词：
构建预测模型以模拟复杂的生物过程动态，特别是时变（即，随时间变化的参数）和历史依赖性（即，目前的动力学依赖于历史培养条件）行为，一直是一个长期的研究挑战。目前混合建模的进展通过将动力学模型与数据驱动技术相结合来解决这一问题。本文提出了一种新的两步框架：首先（i）推测并联合收割机几种可能的动力学模型结构，来源于过程和现象学知识，然后（ii）识别最可能的动力学模型结构及其参数值使用无模型强化学习（RL）。具体来说，步骤1整理可行的历史相关模型结构，然后步骤2使用RL同时识别正确的模型结构和时变参数轨迹。为了证明该框架的性能，进行了一系列计算机模拟案例研究。结果表明，所提出的框架可以有效地构建高保真模型来量化时变和历史相关的动力学行为，同时最大限度地减少过度参数化和过度拟合的风险。最后，所提出的框架的主要优点和它的局限性进行了深入讨论，与其他现有的混合建模和模型结构识别技术相比，突出了这种框架的潜力，一般生物过程建模。
Constructing predictive models to simulate complex bioprocess dynamics, particularly time‐varying (i.e., parameters varying over time) and history‐dependent (i.e., current kinetics dependent on historical culture conditions) behavior, has been a longstanding research challenge. Current advances in hybrid modeling offer a solution to this by integrating kinetic models with data‐driven techniques. This article proposes a novel two‐step framework: first (i) speculate and combine several possible kinetic model structures sourced from process and phenomenological knowledge, then (ii) identify the most likely kinetic model structure and its parameter values using model‐free Reinforcement Learning (RL). Specifically, Step 1 collates feasible history‐dependent model structures, then Step 2 uses RL to simultaneously identify the correct model structure and the time‐varying parameter trajectories. To demonstrate the performance of this framework, a range of in‐silico case studies were carried out. The results show that the proposed framework can efficiently construct high‐fidelity models to quantify both time‐varying and history‐dependent kinetic behaviors while minimizing the risks of over‐parametrization and over‐fitting. Finally, the primary advantages of the proposed framework and its limitation were thoroughly discussed in comparison to other existing hybrid modeling and model structure identification techniques, highlighting the potential of this framework for general bioprocess modeling.
登录
查看更多内容
DOI：
10.1016/j.algal.2014.11.010
发表时间：
2015-01-01
影响因子：
5.1
作者：
Dineshkumar, R.;Dhanarajan, Gunaseelan;Sen, Ramkrishna
通讯作者：
Sen, Ramkrishna
影响因子：
3.7
作者：
Mowbray, Max;Smith, Robin;Zhang, Dongda
通讯作者：
Zhang, Dongda
影响因子：
3.8
作者：
Pinto, Jose;de Azevedo, Cristiana Rodrigues;von Stosch, Moritz
通讯作者：
von Stosch, Moritz
影响因子：
1.2
作者：
Annuar, M. S. M.;Tan, I. K. P.;Ramachandran, K. B.
通讯作者：
Ramachandran, K. B.
影响因子：
4.1
作者：
Long, Quan;Liu, Xiuxia;Bai, Zhonghu
通讯作者：
Bai, Zhonghu