Optimizing Fluid Mixing with Reinforcement Learning

通过强化学习优化流体混合

• 批准号: 19K14591
• 负责人: 犬伏 正信
• 金额: $ 2.5万
• 依托单位: Tokyo University of Science (2021)Osaka University (2019-2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K14591/
• 关键词: 流体混合; 強化学習; 非線形力学系; カオス; 最適化; 機械学習; 非線形力学; 人工知能

流体混合は多種多様な工学応用上で重要であるにも関わらず，古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い．一方，強化学習は時間大域的な最適化問題に有効であり，近年著しく発展しているが，その応用は未だ限定的である．そこで本研究では，流体混合の問題が時間大域的な問題であることに注目し，強化学習を用いて流体混合を最適化する手法を確立した．具体的には，対象とする流体混合の問題設定を定式化し，流体混合最適化のための深層強化学習（Deep Q-Network）プログラムを実装，ベンチマーク問題に対して最適化を行い有効性を示した．また，強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した．また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．最終的な総合報告として，2022年にScientific Reports誌に成果を掲載し，さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した．

Fluid mixing は many many others な で important engineering 応 used で あ る に も masato わ ら ず, ancient く か ら pilot error や ノ ウ ハ ウ に 頼 っ て い る part が く more, the mathematical optimal に さ れ て い る と は い い difficult. Side, reinforcement learning は time big domain に な optimization problems of the unseen で あ り, in recent years the し く 発 exhibition し て い る が, そ の 応 use は だ yet qualified で あ る. そ こ で this study で は, fluid mixing の な が big time domain problems で あ る こ と に attention し, reinforcement learning を with い て optimal fluid mixing を す る gimmick を establish し た. Specific に は, like と seaborne す る fluid mixing の problem set を demean し, fluid mixing optimization の た め の Deep reinforcement learning (Deep Q - Network) プ ロ グ ラ ム を be installed, ベ ン チ マ ー ク problem に し seaborne て line optimization を い have sharper sex を shown し た. ま た, reinforcement learning に よ っ て have ら れ た optimal mixed operation が physical に も Richard に optimum っ て い る こ と を shows し た. ま た, concentration field の time 発 exhibition に company, scattered の unseen fruit も take り れ た occasions (limited の ペ ク レ) に つ い て も reinforcement learning に よ る line optimization を っ た. そ の results, high ペ ク レ line number で learning を っ た results (Deep Q - Network) low は ペ ク レ number の occasions に も planning with possible で あ る こ と, そ の inverse は will ず し も have sharper で な い (planning may で な い) こ と を Ming ら か に し た. こ の こ と は future に reinforcement learning mixed problem へ を す る interstate に important な design pointer と な り る. こ の planning with possibility に つ い て は (の original plan に は な か っ た) move planning study の research か ら derived し た も の で あ り, planning to move learning method に つ い て を の results contain め international society for academic ambition や に 発 table line を っ て results た. Final な総 combined report と て て 2022 にScientific Reports に results を revealed と, さらにEurekAlert! The を is based on the research results of て through て, the significance of や に て て て, the points of やすく やすく, and the manifestations of た.

项目成果

Reservoir Computing - theory, applications, and physical implementations -

油藏计算 - 理论、应用和物理实现 -

• 发表时间: 2019
• 作者: 犬伏正信

機械学習を用いた2次元角柱後流の乱流場推定

使用机器学习对二维棱柱尾流进行湍流场估计

• 发表时间: 2021
• 作者: Yoshinori Shimizu;Yuka Funahashi;Hayato Hanazono and Shogo Murata;Yoshitaka Saiki;犬伏正信;M. Inubushi;犬伏正信;犬伏 正信，中谷謙介，本告遊太郎，後藤晋
• 通讯作者: 犬伏 正信，中谷謙介，本告遊太郎，後藤晋

リザーバコンピューティング -力学系を用いた機械学習の数理と応用-

油藏计算-使用动力系统的机器学习的数学和应用-

• 发表时间: 2019
• 作者: 犬伏正信

リザバーコンピューティングを用いた乱流の状態推定

使用储层计算进行湍流状态估计

• 发表时间: 2022
• 作者: Fujiwara Kazumasa;Ikeda Masahiro;Wakasugi Yuta;Yushi Nakano;犬伏正信，中谷謙介，後藤晋
• 通讯作者: 犬伏正信，中谷謙介，後藤晋

3次元周期箱乱流における同期現象と軌道不安定性

三维周期盒湍流中的同步现象和轨道不稳定性

• 发表时间: 2022
• 作者: 犬伏正信;後藤晋;日野圭子・平林真伊・舟橋友香・康孝民;宮本雅彦;犬伏 正信，後藤晋
• 通讯作者: 犬伏 正信，後藤晋