Development a general-purpose imperfect information game AI that surpasses humans

开发超越人类的通用不完美信息游戏AI

基本信息

批准号：
22K12339
负责人：
橋本剛
金额：
$ 2.58万
依托单位：
Matsue National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2027-03-31
项目状态：
未结题

项目摘要

不完全情報ゲーム研究の題材として、ガイスターを中心に開発を行った。まず、モンテカルロ木探索の代表的な手法であるUCT探索の実装と研究を行った。完全情報ゲームの探索方法を不完全情報ゲームに用いると戦略融合の影響を受ける。既存手法では戦略融合の悪影響を受けやすいが、他の方法はこれまで検討されていない。そこで、探索内部で不完全情報を扱う仕組みを新たにいくつか提案し、対戦実験によりその性能を明らかにした。また、近年ガイスター研究で成果を上げた、方策勾配法を用いた評価方法を探索に用いる手法が開発されていないので、UCT探索に方策勾配法で求まる行動確率を用いる手法をいくつか提案し、対戦実験によってそれらの性能を評価した。実験結果から、優勝したAI を上回る強さが確認できた。ガイスター以外の不完全情報ゲーム研究では、AlphaZeroを不完全情報ゲームのChinese dark chess（CDC）とEinStein Wurfelt Nicht!（EWN）に適用し、パラメータ設定が学習に与える影響を調べた。具体的には局面を全列挙するlookup tableを用いたAlphaZeroに、完全解析された2×4 CDCと3×3 EWNと3×4 EWNを学習させ、その結果を理論勝率と最適戦略と比較した。実験の結果から、最善手を学習できるパラメータ設定の範囲が広いことがわかった。2×4 CDCの結果に基づき、通常のサイズの4×8 CDCの学習を試した。この手法を用いたAIが2022年7月に開催されたComputer Olympiad CDC大会で優勝した。また、人間を超えることを考えると、人間がどうプレイするかを調べることも重要であると考え、多腕バンディット問題と格闘ゲームとポケモン対戦において、認知バイアスと読み合いに関連する研究も行った。

该开发集中在Geister上，作为研究不完整信息游戏的主题。首先，我们实施并研究了UCT搜索，这是一种搜索蒙特卡洛树的典型方法。使用在不完整的信息游戏中探索完整信息游戏的方法将受到策略融合的影响。现有方法容易受到战略融合的不利影响，但到目前为止尚未探索其他方法。因此，我们提出了几种新的机制来处理搜索中不完整的信息，并通过战斗实验揭示了其性能。此外，由于使用测量梯度方法使用评估方法开发了搜索方法，该方法近年来已经在Geister研究中实现了，因此我们使用通过测量梯度方法确定的UCT搜索的行为概率提出了几种方法，并通过战斗实验评估了其性能。实验结果证实，它比获胜的AI强。在研究Geister以外的不完整信息游戏的研究中，Alphazero被应用于不完整的信息游戏中国黑暗国际象棋（CDC）和Einstein Wurfelt Nicht！（EWN）检查参数设置对学习的影响。具体而言，使用列出所有方面的查找表的Alphazero经过全面分析的2×4 CDC，3×3 EWN和3×4 EWN训练，并将结果与理论上的获胜率和最佳策略进行了比较。实验结果表明，参数设置范围很广，可以使您学习最佳的动作。根据2x4 CDC的结果，我们尝试学习正常大小为4x8 CDC。 AI使用此技术赢得了2022年7月举行的计算机奥林匹克疾病预防疾护锦标赛。此外，考虑到人类的玩法，研究人类的玩法以及与多武器强盗问题中的认知偏见和阅读有关的研究很重要，与多武器强盗问题，与游戏进行了打击和宠物游戏。