深層強化学習で実現するCFD解析の高速な収束解到達のための途中解制御則の構築

点击翻译按钮获取中文摘要

圧縮性数値流体力学(CFD)解析の、特に陰的な時間発展の収束加速を実現すべく、陰的時間発展コード内にパラメータを導入し、深層強化学習技術を用いてそのパラメータの制御則の構築を試みた。今年度は特に、2次元圧縮性Navier-Stokes方程式を対象として、このような加速を実現することが可能か調査した。本年度は、収束の遅延が見られる問題設定として、遷音速の翼型周りの流れを対象とし、その系に対して深層強化学習技術、特にProximal Policy Optimization(PPO)と呼ばれる、パラメータの値を与える方策を得る学習アルゴリズムを適用した。昨年度はLU-SGS陰的時間発展法を用いていたが、今年度は、領域内の各格子点に対して学習を効率的に行うため、MFGS陰的時間発展法及びodd/even法の組み合わせに切り替え、そこに学習対象のパラメータを導入し、制御則獲得を試みた。このような方法を取り入れることで、各格子点において（深層）強化学習適用の大前提であるマルコフ決定過程が満たされるため、各格子点に独立して深層強化学習による方策を適用できるようになる。このことは、CFDのように、格子点全体が1つの場として定義されるような環境において、各格子点が能動的に制御され、その結果、場全体の最適化が可能になることが期待される。その結果、既定の誤差に達する時間発展ステップの回数の観点で、通常の時間発展法に比べて1.8～2.2倍程度の短縮が確認された。これは、前述の通り、各格子点への能動的な制御が、CFD解析全体の最適化に寄与する、という当初の狙いが実現されたものと考察される。