Optimizing Fluid Mixing with Reinforcement Learning

流体混合は多種多様な工学応用上で重要であるにも関わらず，古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い．一方，強化学習は時間大域的な最適化問題に有効であり，近年著しく発展しているが，その応用は未だ限定的である．そこで本研究では，流体混合の問題が時間大域的な問題であることに注目し，強化学習を用いて流体混合を最適化する手法を確立した．具体的には，対象とする流体混合の問題設定を定式化し，流体混合最適化のための深層強化学習（Deep Q-Network）プログラムを実装，ベンチマーク問題に対して最適化を行い有効性を示した．また，強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した．また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．最終的な総合報告として，2022年にScientific Reports誌に成果を掲載し，さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した．

流体混合は多種多様な工学応用上で重要であるにも関わらず，古くから試行錯誤やノウハウに頼っている部分が多く, 数理的に最適化されているとは言い難い．一方，強化学習は時間大域的な最適化問題に有効であり，近年著しく発展しているが，その応用は未だ限定的である．そこで本研究では，流体混合の問題が時間大域的な問題であることに注目し，強化学習を用いて流体混合を最適化する手法を確立した．具体的には，対象とする流体混合の問題設定を定式化し，流体混合最適化のための深層強化学習（Deep Q-Network）プログラムを実装，ベンチマーク問題に対して最適化を行い有効性を示した．また，強化学習によって得られた最適混合操作が物理的にも理に適っていることを見出した．また，濃度場の時間発展に拡散の効果も取り入れた場合（有限のペクレ数）についても強化学習による最適化を行った．その結果，高ペクレ数で学習を行った結果（Deep Q-Network）は低ペクレ数の場合にも転用可能であること，その逆は必ずしも有効でない（転用可能でない）ことを明らかにした．このことは将来的に強化学習を混合問題へ適用する際に重要な設計指針となり得る．この転用可能性については（当初の計画にはなかった）転移学習の研究成果から派生したものであり，転移学習法についての結果を含め国際学術誌や学会にて成果発表を行った．最終的な総合報告として，2022年にScientific Reports誌に成果を掲載し，さらにEurekAlert!等を通して研究の成果や重要性について分かりやすく発表した．