Safe control of nonlinear systems in LPV framework using model-based reinforcement learning
Safe control of nonlinear systems in LPV framework using model-based reinforcement learning
复制标题
使用基于模型的强化学习对 LPV 框架中的非线性系统进行安全控制
DOI：
10.1080/00207179.2022.2029945
复制
发表时间：
2022
影响因子：
2.1
通讯作者：
Mohammadpour Velni, Javad
中科院分区：
文献类型：
--
作者：
Bao, Yajie;Mohammadpour Velni, Javad
本文提出了一种安全的基于模型的强化学习（MBRL）方法来控制由线性参数变化（LPV）模型描述的非线性系统。首先采用变分贝叶斯推理神经网络（BNN）方法从系统收集的输入输出数据中学习具有不确定性量化的状态空间模型;然后利用该模型训练MBRL以学习具有安全保证的系统的控制动作。具体而言，MBRL采用BNN模型来生成用于训练的仿真环境，从而避免了探索阶段的安全违规。为了适应动态变化的环境，LPV模型调度变量的演变知识被纳入仿真，以减少仿真和真实的环境之间的过渡分布的差异。在变参数双积分器系统和控制力矩陀螺仿真模型上的实验表明，该方法可以安全地实现所需的控制性能。
This paper presents a safe model-based reinforcement learning (MBRL) approach to control nonlinear systems described by linear parameter-varying (LPV) models. A variational Bayesian inference Neural Network (BNN) approach is first employed to learn a state-space model with uncertainty quantification from input-output data collected from the system; the model is then utilised for training MBRL to learn control actions for the system with safety guarantees. Specifically, MBRL employs the BNN model to generate simulation environments for training, which avoids safety violations in the exploration stage. To adapt to dynamically varying environments, knowledge on the evolution of LPV model scheduling variables is incorporated in simulation to reduce the discrepancy between the transition distributions of simulation and real environments. Experiments on a parameter-varying double integrator system and a control moment gyroscope (CMG) simulation model demonstrate that the proposed approach can safely achieve desired control performance.
登录
查看更多内容
LPV 框架中使用策略梯度强化学习的无模型控制设计
DOI：
10.23919/ecc54610.2021.9655004
发表时间：
2021
期刊：
2021 European Control Conference (ECC
影响因子：
--
作者：
Bao, Yajie;Velni, Javad Mohammadpour
通讯作者：
Velni, Javad Mohammadpour
DOI：
--
发表时间：
2020
期刊：
arXiv.org
影响因子：
--
作者：
S. Gros;Mario Zanon
通讯作者：
Mario Zanon
具有潜在参数空间的线性系统的变分推理
DOI：
10.23919/acc.2019.8814855
发表时间：
2019
期刊：
2019 American Control Conference (ACC
影响因子：
--
作者：
Becker, Cassiano O.;Preciado, Victor M.
通讯作者：
Preciado, Victor M.
DOI：
--
发表时间：
2016-05
期刊：
ArXiv
影响因子：
--
作者：
Maximilian Karl;Maximilian Sölch;Justin Bayer;Patrick van der Smagt
通讯作者：
Maximilian Karl;Maximilian Sölch;Justin Bayer;Patrick van der Smagt
影响因子：
4.9
作者：
Abbas, Hossam Seddik;Ali, Ahsan;Werner, Herbert
通讯作者：
Werner, Herbert