AI技術に基づく安定性の保証付き制御手法の開発

基于AI技术的稳定性保障控制方法开发

• 批准号: 21K14178
• 负责人: 川口 貴弘
• 金额: $ 2.83万
• 依托单位: Gunma University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14178/
• 关键词: 分散制御; 強化学習; レトロフィット制御; 制御工学; 安定性

本研究では，レトロフィット制御理論と強化学習法を組み合わせることで，どのようなデータが得られたとしても制御系の安定性を保証できる適応的な分散制御法の構築を目指している．レトロフィット制御理論によって安定性を保証する鍵の一つは，対象の物理によって決まる整流器を制御器の内部に含めることである．したがって，レトロフィット制御の考え方を強化学習に取り入れるためには，このような整流器を含んだうえで，内部制御器のみを学習する，構造付きの学習法が必要になる．本年度は，昨年度提案した方法である有限インパルス応答表現を用いたレトロフィット強化学習法の適用について，精度向上のための手法の検討を行った．インパルス応答表現を用いる際には，制御に用いる信号の過去の値を多数保持し，それらの係数を学習によって求めることが必要である．この特徴から，求めるパラメータ数が多くなり，雑音などの影響を受けやすくなるという欠点があった．この問題点を解決するために，近年システム同定の分野で注目されているインパルス応答推定法である，カーネルに基づく正則化法を組み合わせて利用することを提案した．これにより，雑音の影響を受けにくくなり，学習後の制御性能が向上することをシミュレーションを通して確かめた．その過程で，システム同定にも利用可能な新たなカーネル正則化法を提案することができた．さらに，これまでは強化学習を行う主体が単一であることを仮定して研究を行ってきたが，一つの大規模システムを複数の主体が管理する状況を想定し，複数主体が同時に強化学習を行う状況への適用についても検討した．シミュレーションを通して，それぞれの主体の学習結果が互いに悪影響を及ぼすことはなく，単一主体での学習では達成不可能な性能を達成できることを示した．

This study is based on the control theory and reinforcement learning method and the combination of the control theory and the reinforcement learning method. The stability of the control system and the structure of the dispersed control method that guarantees the stability of the control system are the same.レトロフィットControl theory によって stability を guarantee するKey の一つは,対The physics of the image is the same as the rectifier and the control device.したがって, レトロフィットcontrol の考え方を intensification learning に出り入れるためには, このようThe rectifier is included, the internal controller is learned, and the structure is learned using the learning method. This year's proposal, last year's proposal method was limited and the answer performance was used.フィット reinforcement learning method is applicable to について, and accuracy is improved to のためのtechniques. The インパルス応answer expresses the を いるinterior には, and controls the に いる signal の の値 をMost of the time, it is necessary to keep the coefficient of learning and to learn the necessary skills.この特徴から, ask for めるパラメータnum が多くなり, 雑音などの influenced by けやすくなるという owe points があった. In recent years, the problem has been solved by solving the problem. In recent years, the company has focused on solving the problem. The answer is the presumption method, the regularization method is based on the regularization method, the group is combined, and the proposal is made using the method.これにより, the influence of 雑音を is affected by けにくくなり, and the control after learning The performance is improved and the performance is improved.その process で, システム Same determination にもIt is possible to use the new たなカーネルregularization method を proposal することができた．さらに, これまではReinforcement learningを行うsubjectが単一であることを仮定して Researchを行ってきたが,一つのlarge-scale システムをThe management of the plurality of subjects, the situation of the situation, the situation, the situation of the plurality of subjects, the simultaneous reinforcement of the learning, the application of the situation, the application of the situation.シミュレーションを通して, それぞれの Subject の Learning results が Mutual い に悪 influence を and ぼ すことはなく, single subject でのlearning ではachieving the impossible なperformance をachieving できることをshow した.

项目成果

カーネル正則化を用いたレトロフィット強化学習法

使用核正则化改进强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司;松井一馬，種村昌也，千田有一;橋本直季，根岸航平，川口貴弘，橋本誠司
• 通讯作者: 橋本直季，根岸航平，川口貴弘，橋本誠司

複数主体の存在下におけるレトロフィット強化学習法

改进多参与者存在下的强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司
• 通讯作者: 根岸航平，川口貴弘，橋本誠司

Retrofit Controller Design Using a Finite Impulse Response Representation and Reinforcement Learning

使用有限脉冲响应表示和强化学习改进控制器设计

• 发表时间: 2022
• 作者: Kohei Negishi;Takahiro Kawaguchi;Seiji Hashimoto
• 通讯作者: Seiji Hashimoto

インパルス応答のモード表現に基づくカーネル正則化を用いたシステム同定法

基于脉冲响应模态表示的核正则化系统辨识方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘
• 通讯作者: 川口貴弘

ブロックスパース最適化を用いたARXモデルの同定法

使用块稀疏优化的ARX模型识别方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司
• 通讯作者: 三上凌，川口貴弘，橋本誠司