局面状態の分類に基づく局面評価とモンテカルロ法を組み合わせたゲーム木探索

基于位置状态分类和蒙特卡罗方法的位置评估相结合的博弈树搜索

• 批准号: 16J02092
• 负责人: 高田 圭
• 金额: $ 1.6万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J02092/
• 关键词: 強化学習; 局面評価関数; ポリシー関数; オーダリング関数; 深層学習; ゲーム木探索

本年度は，主に学術論文誌への投稿と博士論文の執筆を行った．学術論文誌への投稿を行った研究では，現在の局面の形勢を評価する局面評価関数と候補手を評価するポリシー関数をディープニューラルネットワークで構成し，この二つの評価関数を自己対戦による強化学習によって獲得する手法を提案している．二つの評価関数を作成するための既存手法では，二つの評価関数を使用するコンピュータプレイヤ同士で自己対戦を行い，自己対戦から得られる対局結果とモンテカルロ木探索の探索結果から二つの評価関数を学習している．この手法は非常に高精度な評価関数を作成可能であることが示されている．一方で，モンテカルロ木探索の探索結果を得るためには，候補手に対して多数回の評価が必要となり，膨大な計算リソースが必要となる．本研究では，モンテカルロ木探索の探索結果を必要としない手法を提案した．提案手法では，学習に必要な候補手への評価回数が減るため，計算量の削減が期待できる．提案手法によって高精度な局面評価関数とポリシー関数が作成可能であることを明らかにするため，提案手法と他の学習手法との比較や，獲得した二つの評価関数を使用するコンピュータHexと既存のコンピュータHexとの比較を行った．これらの結果を学術論文としてまとめ，IEEE Transactions on Gamesに投稿し，査読プロセスを通して掲載が決定している．また，上記の研究内容を含めこれまでの研究内容をまとめた博士論文を執筆した．

This year, に, main author に academic paper journal へ に submitted と doctoral dissertation に wrote を line った. Academic ambition へ contribute の を line っ た research で は, now の situation の を situation assessment 価 す る situation assessment 価 masato number と alternate hand を review 価 す る ポ リ シ ー masato number を デ ィ ー プ ニ ュ ー ラ ル ネ ッ ト ワ ー ク で constitute し こ の two つ の review 価 masato number を oneself 戦 seaborne に よ る reinforcement learning に よ っ て get す る technique proposed を し て い る. Number 2 つ の review 価 masato を made す る た め の existing technique で は, two つ の review 価 masato number を use す る コ ン ピ ュ ー タ プ レ イ ヤ with で own 戦 seaborne を い, their moral 戦 か ら must ら れ る bureau results seaborne と モ ン テ カ ル ロ wood explore の exploration results か ら two つ の review 価 masato number を learning し て い る. The <s:1> cue technique <e:1> is very に and highly accurate な evaluation 価 key points を can be achieved である とが とが とが as されて る る る. One party で, モ ン テ カ ル ロ wood explore の exploration results る を た め に は, alternate hand に し seaborne て most back の review 価 が necessary と な り, expands な computing リ ソ ー ス が necessary と な る. This study で は, モ ン テ カ ル ロ wood explore の exploration results を と necessary し な い technique proposed を し た. Proposed technique で は, learning に necessary な alternate hand へ の review 価 back several が minus る た め, computation の が expect cuts で き る. Proposed technique に よ っ て high-precision な situation assessment 価 masato number と ポ リ シ ー masato number が made possible で あ る こ と を Ming ら か に す る た め, proposal gimmick と の he study technique と の is や, obtain し た two つ の review 価 masato number を use す る コ ン ピ ュ ー タ Hex と existing の コ ン ピ ュ ー タ Hex と の is line を っ た. こ れ ら の results を academic papers と し て ま と め, IEEE the Transactions on Games contribute に し, check 読 プ ロ セ ス を tong し て first white jasmines load が decided し て い る. Youdaoplaceholder0, the above note indicates that the <s:1> research content を includes め れまで れまで the をまとめた research content をまとめた the doctoral thesis を the author of the を た.

项目成果

Reinforcement Learning for Creating Evaluation Function Using Convolutional Neural Network in Hex

使用十六进制卷积神经网络创建评估函数的强化学习

• 发表时间: 2017
• 作者: Kei Takada;Hiroyuki Iizuka and Masahito Yamamoto
• 通讯作者: Hiroyuki Iizuka and Masahito Yamamoto

Reinforcement Learning to Create Value and Policy Functions using Minimax Tree Search in Hex

强化学习使用十六进制最小最大树搜索创建价值和策略函数

• DOI: 10.1109/tg.2019.2893343
• 发表时间: 2019
• 期刊: IEEE Transactions on Games
• 影响因子: 2.3
• 作者: Takada Kei;Iizuka Hiroyuki;Yamamoto Masahito
• 通讯作者: Yamamoto Masahito

畳み込みニューラルネットワークによる局面評価手法を用いたコンピュータHexの開発

使用利用卷积神经网络的状况评价方法开发计算机Hex

• 发表时间: 2016
• 作者: Kei Takada;Hiroyuki Iizuka and Masahito Yamamoto;高田圭・本庄将也・飯塚博幸・○山本雅人
• 通讯作者: 高田圭・本庄将也・飯塚博幸・○山本雅人

Computer Hex Algorithm Using a Move Evaluation Method Based on a Convolutional Neural Network

基于卷积神经网络的移动评估方法的计算机Hex算法

• 发表时间: 2017
• 作者: Kei Takada;Hiroyuki Iizuka and Masahito Yamamoto
• 通讯作者: Hiroyuki Iizuka and Masahito Yamamoto