Optimizing Fluid Mixing with Reinforcement Learning

通过强化学习优化流体混合

基本信息

批准号：
19K14591
负责人：
犬伏正信
金额：
$ 2.5万
依托单位：
Tokyo University of Science (2021)Osaka University (2019-2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

流体混合は多種多様な工学応用上で重要であるにも関わらず，古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い．一方，強化学習は時間大域的な最適化問題に有効であり，近年著しく発展しているが，その応用は未だ限定的である．そこで本研究では，流体混合の問題が時間大域的な問題であることに注目し，強化学習を用いて流体混合を最適化する手法を確立した．具体的には，対象とする流体混合の問題設定を定式化し，流体混合最適化のための深層強化学習（Deep Q-Network）プログラムを実装，ベンチマーク問題に対して最適化を行い有効性を示した．また，強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した．また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．最終的な総合報告として，2022年にScientific Reports誌に成果を掲載し，さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した．

尽管流体混合对于各种工程应用很重要，但长期以来，它一直依赖于反复试验和专业知识，因此很难说它是数学优化的。另一方面，增强学习对于全球时间优化问题有效，并且近年来已经显着开发，但其应用仍然有限。因此，在这项研究中，我们专注于流体混合作为时间全球问题的问题，并建立了一种使用增强学习来优化流体混合的方法。具体而言，制定了目标流体混合问题的设定，并实施了深入的增强学习（深Q-NETWORK）程序以进行流体混合优化，并在基准问题上进行了优化，以证明其有效性。我们还发现，通过增强学习获得的最佳混合操作在物理上是合理的。此外，当扩散效果还纳入浓度场的时间演变（有限的小脚孔数）时，还可以使用加固学习进行了优化。结果，据透露，即使在山核桃数量低的情况下，也可以重新使用高针cle数（深Q网络）的学习结果，反之亦然，不一定是有效的（不重新使用）。这可能是强化学习混合问题的未来应用的重要设计指南。重新利用的这种可能性来自转移学习的研究结果（不是在原始计划中），并且在国际学术期刊和学术会议中提出了结果，包括转移学习方法的结果。作为最终的综合报告，结果发表在2022年的《科学报告》杂志上，研究的结果和重要性通过Eurekalert易于理解！和其他出版物。

项目成果

期刊论文数量（19）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

機械学習を用いた2次元角柱後流の乱流場推定

使用机器学习对二维棱柱尾流进行湍流场估计

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Yoshinori Shimizu;Yuka Funahashi;Hayato Hanazono and Shogo Murata;Yoshitaka Saiki;犬伏正信;M. Inubushi;犬伏正信;犬伏正信，中谷謙介，本告遊太郎，後藤晋
通讯作者：
犬伏正信，中谷謙介，本告遊太郎，後藤晋

Reservoir Computing - theory, applications, and physical implementations -

油藏计算 - 理论、应用和物理实现 -