权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

不完全情報・確率的・多人数ゲームにおけるAlphaGo手法の評価と改良

AlphaGo方法在不完全信息、随机、多人游戏中的评估和改进

基本信息

批准号：
20K12124
负责人：
松崎公紀
金额：
$ 2.75万
依托单位：
Kochi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究は，AlphaGo (およびその後継であるAlphaGo Zero, AlphaZeroを含む) 手法をより広いゲームに適用する際に起こる問題点を明らかにし，それを改良することを目指す研究である．本年度は主に，(1) 確率的一人ゲーム「2048」のニューラルネットワーク構造の改良，(2) 強化学習手法「Monte-Carlo Softmax 探索」の2048への適用と評価，(3) 非対称二人ゲーム「対戦型2048」におけるプレイヤの改良と比較，の3点について研究を進めた．(1) これまでに，局所的特徴を扱うのに優れる畳み込みニューラルネットワークを用いてプレイヤを作成してきた．本研究項目では，大域的特徴を与えるネットワークを追加したネットワークを設計し，スコアが改善することを示した．本成果は，国際会議 IEEE CoG 2022 にて発表した．(2) AlphaGo 手法は，方策（ポリシー）と値（バリュー）の2つを同時に学習する強化学習手法である．それに対し，値（バリュー）のみを学習する Monte-Carlo Softmax Search アルゴリズムを2048に適用し，評価を行った．その結果，モンテカルロ木探索における評価値の利用方法の工夫が性能に大きく影響すること，モンテカルロ木探索によって得られる値をそのまま学習に用いると学習が進まないことなどを知見として得た．前者は国際会議 TAAI 2022に，後者は国内ワークショップで発表した．(3) 非対称二人ゲーム「対戦型2048」に対し，Nタプルネットワーク／ニューラルネットワークおよびαβ探索を用いるプレイヤを実装し，相互対戦により評価を行った．その結果，「2048」において優れるNタプルネットワークが「対戦型2048」では劣る，という興味深い結果を得た．国内ワークショップ，国内研究会にて発表した．

This study is aimed at studying the problem of AlphaGo ( This year's focus is on (1) the improvement of the accurate one-person model "2048" and the improvement of the structure,(2) the evaluation of the application of the reinforcement learning method "Monte-Carlo Softmax exploration" in 2048,(3) the improvement and comparison of the non-symmetrical two-person model "2048" and the improvement of the three-point research. (1)The characteristics of the bureau are optimized and the results are presented in the table below. This project shows the characteristics of large domains. This work was presented at the International Conference IEEE CoG 2022. (2)AlphaGo method: 2. Simultaneous learning. Reinforcement learning method. Monte-Carlo Softmax Search is available in 2048. For example, if you want to learn from a computer, you can learn from it. The former is an international conference TAAI 2022, while the latter is a domestic conference. (3)The two of them are "opposite type 2048", and the two of them are "opposite type 2048", and the two of them are "opposite type 2048". The result is that "2048" is excellent, and the result is good. Domestic Research Association