权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Optimizing Fluid Mixing with Reinforcement Learning

通过强化学习优化流体混合

基本信息

批准号：
19K14591
负责人：
犬伏正信
金额：
$ 2.5万
依托单位：
Tokyo University of Science (2021)Osaka University (2019-2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

流体混合は多種多様な工学応用上で重要であるにも関わらず，古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い．一方，強化学習は時間大域的な最適化問題に有効であり，近年著しく発展しているが，その応用は未だ限定的である．そこで本研究では，流体混合の問題が時間大域的な問題であることに注目し，強化学習を用いて流体混合を最適化する手法を確立した．具体的には，対象とする流体混合の問題設定を定式化し，流体混合最適化のための深層強化学習（Deep Q-Network）プログラムを実装，ベンチマーク問題に対して最適化を行い有効性を示した．また，強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した．また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．最終的な総合報告として，2022年にScientific Reports誌に成果を掲載し，さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した．

Fluid mixing is important for engineering purposes, and it is difficult for mathematical optimization. On the one hand, reinforcement learning is an optimization problem in a large time domain. In this study, the problem of fluid mixing is established in a large time domain. Specifically, the problem setting for fluid mixing is formulated, and Deep Q-Network for fluid mixing optimization is implemented. Reinforcement learning is the most appropriate way to mix operations with physical learning. The time evolution of the concentration field results in dispersion and optimization of reinforcement learning in the case of finite selection. Deep Q-Network is the result of learning from a high number of sources. Deep Q-Network is the result of learning from a low number of sources. This is the future of reinforcement learning. Hybrid problems are applicable. The research results of shift learning are derived from the original plan, and the results of shift learning include the results of international academic journals and societies. The final comprehensive report for 2022 will be published in EurekAlert. The importance of the results of this research is also important.

项目成果

期刊论文数量（19）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Reservoir Computing - theory, applications, and physical implementations -

油藏计算 - 理论、应用和物理实现 -

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
犬伏正信
通讯作者：
犬伏正信

機械学習を用いた2次元角柱後流の乱流場推定

使用机器学习对二维棱柱尾流进行湍流场估计

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Yoshinori Shimizu;Yuka Funahashi;Hayato Hanazono and Shogo Murata;Yoshitaka Saiki;犬伏正信;M. Inubushi;犬伏正信;犬伏正信，中谷謙介，本告遊太郎，後藤晋
通讯作者：
犬伏正信，中谷謙介，本告遊太郎，後藤晋

リザーバコンピューティング -力学系を用いた機械学習の数理と応用-

油藏计算-使用动力系统的机器学习的数学和应用-