局面状態の分類に基づく局面評価とモンテカルロ法を組み合わせたゲーム木探索

本年度は，主に学術論文誌への投稿と博士論文の執筆を行った．学術論文誌への投稿を行った研究では，現在の局面の形勢を評価する局面評価関数と候補手を評価するポリシー関数をディープニューラルネットワークで構成し，この二つの評価関数を自己対戦による強化学習によって獲得する手法を提案している．二つの評価関数を作成するための既存手法では，二つの評価関数を使用するコンピュータプレイヤ同士で自己対戦を行い，自己対戦から得られる対局結果とモンテカルロ木探索の探索結果から二つの評価関数を学習している．この手法は非常に高精度な評価関数を作成可能であることが示されている．一方で，モンテカルロ木探索の探索結果を得るためには，候補手に対して多数回の評価が必要となり，膨大な計算リソースが必要となる．本研究では，モンテカルロ木探索の探索結果を必要としない手法を提案した．提案手法では，学習に必要な候補手への評価回数が減るため，計算量の削減が期待できる．提案手法によって高精度な局面評価関数とポリシー関数が作成可能であることを明らかにするため，提案手法と他の学習手法との比較や，獲得した二つの評価関数を使用するコンピュータHexと既存のコンピュータHexとの比較を行った．これらの結果を学術論文としてまとめ，IEEE Transactions on Gamesに投稿し，査読プロセスを通して掲載が決定している．また，上記の研究内容を含めこれまでの研究内容をまとめた博士論文を執筆した．

本年度は，主に学術論文誌への投稿と博士論文の執筆を行った．学術論文誌への投稿を行った研究では，現在の局面の形勢を評価する局面評価関数と候補手を評価するポリシー関数をディープニューラルネットワークで構成し，この二つの評価関数を自己対戦による強化学習によって獲得する手法を提案している．二つの評価関数を作成するための既存手法では，二つの評価関数を使用するコンピュータプレイヤ同士で自己対戦を行い，自己対戦から得られる対局結果とモンテカルロ木探索の探索結果から二つの評価関数を学習している．この手法は非常に高精度な評価関数を作成可能であることが示されている．一方で，モンテカルロ木探索の探索結果を得るためには，候補手に対して多数回の評価が必要となり，膨大な計算リソースが必要となる．本研究では，モンテカルロ木探索の探索結果を必要としない手法を提案した．提案手法では，学習に必要な候補手への評価回数が減るため，計算量の削減が期待できる．提案手法によって高精度な局面評価関数とポリシー関数が作成可能であることを明らかにするため，提案手法と他の学習手法との比較や，獲得した二つの評価関数を使用するコンピュータHexと既存のコンピュータHexとの比較を行った．これらの結果を学術論文としてまとめ，IEEE Transactions on Gamesに投稿し，査読プロセスを通して掲載が決定している．また，上記の研究内容を含めこれまでの研究内容をまとめた博士論文を執筆した．