不完全情報・確率的・多人数ゲームにおけるAlphaGo手法の評価と改良

点击翻译按钮获取中文摘要

本研究は，AlphaGo (およびその後継であるAlphaGo Zero, AlphaZeroを含む) 手法をより広いゲームに適用する際に起こる問題点を明らかにし，それを改良することを目指す研究である．本年度は主に，(1) 確率的一人ゲーム「2048」のニューラルネットワーク構造の改良，(2) 強化学習手法「Monte-Carlo Softmax 探索」の2048への適用と評価，(3) 非対称二人ゲーム「対戦型2048」におけるプレイヤの改良と比較，の3点について研究を進めた．(1) これまでに，局所的特徴を扱うのに優れる畳み込みニューラルネットワークを用いてプレイヤを作成してきた．本研究項目では，大域的特徴を与えるネットワークを追加したネットワークを設計し，スコアが改善することを示した．本成果は，国際会議 IEEE CoG 2022 にて発表した．(2) AlphaGo 手法は，方策（ポリシー）と値（バリュー）の2つを同時に学習する強化学習手法である．それに対し，値（バリュー）のみを学習する Monte-Carlo Softmax Search アルゴリズムを2048に適用し，評価を行った．その結果，モンテカルロ木探索における評価値の利用方法の工夫が性能に大きく影響すること，モンテカルロ木探索によって得られる値をそのまま学習に用いると学習が進まないことなどを知見として得た．前者は国際会議 TAAI 2022に，後者は国内ワークショップで発表した．(3) 非対称二人ゲーム「対戦型2048」に対し，Nタプルネットワーク／ニューラルネットワークおよびαβ探索を用いるプレイヤを実装し，相互対戦により評価を行った．その結果，「2048」において優れるNタプルネットワークが「対戦型2048」では劣る，という興味深い結果を得た．国内ワークショップ，国内研究会にて発表した．