AI技術に基づく安定性の保証付き制御手法の開発

基于AI技术的稳定性保障控制方法开发

• 批准号: 21K14178
• 负责人: 川口 貴弘
• 金额: $ 2.83万
• 依托单位: Gunma University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14178/
• 关键词: 分散制御; 強化学習; レトロフィット制御; 制御工学; 安定性

本研究では，レトロフィット制御理論と強化学習法を組み合わせることで，どのようなデータが得られたとしても制御系の安定性を保証できる適応的な分散制御法の構築を目指している．レトロフィット制御理論によって安定性を保証する鍵の一つは，対象の物理によって決まる整流器を制御器の内部に含めることである．したがって，レトロフィット制御の考え方を強化学習に取り入れるためには，このような整流器を含んだうえで，内部制御器のみを学習する，構造付きの学習法が必要になる．本年度は，昨年度提案した方法である有限インパルス応答表現を用いたレトロフィット強化学習法の適用について，精度向上のための手法の検討を行った．インパルス応答表現を用いる際には，制御に用いる信号の過去の値を多数保持し，それらの係数を学習によって求めることが必要である．この特徴から，求めるパラメータ数が多くなり，雑音などの影響を受けやすくなるという欠点があった．この問題点を解決するために，近年システム同定の分野で注目されているインパルス応答推定法である，カーネルに基づく正則化法を組み合わせて利用することを提案した．これにより，雑音の影響を受けにくくなり，学習後の制御性能が向上することをシミュレーションを通して確かめた．その過程で，システム同定にも利用可能な新たなカーネル正則化法を提案することができた．さらに，これまでは強化学習を行う主体が単一であることを仮定して研究を行ってきたが，一つの大規模システムを複数の主体が管理する状況を想定し，複数主体が同時に強化学習を行う状況への適用についても検討した．シミュレーションを通して，それぞれの主体の学習結果が互いに悪影響を及ぼすことはなく，単一主体での学習では達成不可能な性能を達成できることを示した．

This study で は, レ ト ロ フ ィ ッ ト suppression theory と reinforcement learning method を group み close わ せ る こ と で, ど の よ う な デ ー タ が have ら れ た と し て も suppression is の stability を guarantee で き る optimum 応 な scattered の suppression method to construct を refers し て い る. レ ト ロ フ ィ ッ ト suppression theory に よ っ て stability を guarantee す る key の a つ は, like physical に の seaborne よ っ て definitely ま る を rectifier system contains royal editor の internal に め る こ と で あ る. し た が っ て, レ ト ロ フ ィ ッ ト suppression の exam え party を reinforcement learning に take り れ る た め に は, こ の よ う な rectifier を containing ん だ う え で, internal system of imperial unit の み を learning す る, construct pay き の learning method が necessary に な る. は this year, the annual proposal yesterday し た method で あ る limited イ ン パ ル ス 応 a performance を using い た レ ト ロ フ ィ ッ ト の reinforcement learning method for に つ い て, precision upward の た め の gimmick の 検 line for を っ た. イ ン パ ル ス 応 a performance を using い る interstate に は, suppression に with い る signal の past の numerical を most keep し, そ れ ら の coefficient を learning に よ っ て o め る こ と が necessary で あ る. こ の, 徴 か ら, め る パ ラ メ ー タ が much く な り, 雑 sound な ど の を by け や す く な る と い う points less が あ っ た. こ の problem point を す る た め に, recent シ ス テ ム with fixed の eset で attention さ れ て い る イ ン パ ル ス 応 a presumption of law で あ る, カ ー ネ ル に base づ く regularization method を group み close わ せ て using す る こ と を proposal し た. こ れ に よ り, 雑 の を by け に く く な り, after studying の suppression performance が upward す る こ と を シ ミ ュ レ ー シ ョ ン を tong し て か indeed め た. で そ の process, シ ス テ ム with fixed に も use may な new た な カ ー ネ ル regularization method proposed を す る こ と が で き た. さ ら に, こ れ ま で は reinforcement learning を line う subject が 単 a で あ る こ と を 仮 set し を line っ て research て き た が, a つ の large-scale シ ス テ ム を plural の subject が management す る を し scenarios, a plural subject が に at the same time strengthen learning を う status was へ の applicable に つ い て も beg し 検 た. シ ミ ュ レ ー シ ョ ン を tong し て, そ れ ぞ れ の subject の が mutual learning results い に 悪 influence を and ぼ す こ と は な く, a subject で 単 の learning で は reach cannot be struck な performance を で き る こ と を shown し た.

项目成果

カーネル正則化を用いたレトロフィット強化学習法

使用核正则化改进强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司;松井一馬，種村昌也，千田有一;橋本直季，根岸航平，川口貴弘，橋本誠司
• 通讯作者: 橋本直季，根岸航平，川口貴弘，橋本誠司

複数主体の存在下におけるレトロフィット強化学習法

改进多参与者存在下的强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司
• 通讯作者: 根岸航平，川口貴弘，橋本誠司

Retrofit Controller Design Using a Finite Impulse Response Representation and Reinforcement Learning

使用有限脉冲响应表示和强化学习改进控制器设计

• 发表时间: 2022
• 作者: Kohei Negishi;Takahiro Kawaguchi;Seiji Hashimoto
• 通讯作者: Seiji Hashimoto

インパルス応答のモード表現に基づくカーネル正則化を用いたシステム同定法

基于脉冲响应模态表示的核正则化系统辨识方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘
• 通讯作者: 川口貴弘

ブロックスパース最適化を用いたARXモデルの同定法

使用块稀疏优化的ARX模型识别方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司
• 通讯作者: 三上凌，川口貴弘，橋本誠司