バンディット問題における最適性達成のためのランダム方策の発展と解析

开发和分析随机策略以实现老虎机问题的最优性

• 批准号: 21K11747
• 负责人: 本多 淳也
• 金额: $ 2.58万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11747/
• 关键词: 機械学習; 学習理論; 実験計画; 情報理論

本年度はバンディット問題におけるランダム方策のうち，特に敵対的バンディットとよばれる設定に対して頑健な方策の構築と解析を主に行った。敵対的バンディットとは報酬が一定の確率分布からではなく敵対者によって生成される設定で、確率的・敵対的両方の設定で同時に最適オーダーを達成する方策はBest-Of-Both-Worlds (BOBW)とよばれる。これらは敵対的設定に対応するためにランダム方策を用いることが本質的に必要となる。これらに対して、本研究では敵対的設定においても報酬の分散情報を活用可能なBOBW方策を新たに提案し、各設定に特化した方策に比べて損失が高々２倍程度で抑えられることを証明した。この結果は学習理論のトップ会議COLT2022に採録された。次に、バンディット問題を一般化した問題クラスとしてグラフフィードバック付きバンディットや部分観測問題とよばれる設定が知られている。本研究ではこれらの設定に対して「最適化による探索」とよばれる近年別の文脈で知られるようになった手法を取り入れることでBOBW方策を新たに構成した。この結果は機械学習のトップ会議NeurIPS2022および学習理論のトップ会議ALT2023に採録された。上記のBOBW方策はいずれもランダム選択の確率分布を時刻ごとに最適化計算によって求める必要があった。これに対して、最適化計算の不要なランダム方策であるFollow-The-Perturbed-Leader (FTPL)がBOBW性を達成可能であるかは長年未解決であったが、本研究では対称多項式に関する代数的な手法を用いることでこの問題を肯定的に解決した。この結果はALT2023に採録された。その他、最適腕識別とよばれる設定に対してランダム方策を含む一般の方策に対する理論限界を新たに構築した。この結果はNeurIPS2022に採録された。

This year は バ ン デ ィ ッ ト problem に お け る ラ ン ダ ム order の う ち, trevor に enemy of seaborne バ ン デ ィ ッ ト と よ ば れ る set に し seaborne て robust な order の build と parsing を main line に っ た. Enemy Of seaborne バ ン デ ィ ッ ト と は が must の remuneration Of probabilistic distribution か ら で は な く enemy who seaborne に よ っ て generated さ れ る set で, probabilistic, enemy struck party の seaborne set at the same time で に optimum オ ー ダ ー を reached す る order は Best - Of - Both - Worlds (BOBW) と よ ば れ る. こ れ ら は enemy set に seaborne seaborne 応 す る た め に ラ ン ダ ム order を with い る こ と が nature に necessary と な る. こ れ ら に し seaborne て, this study で は enemy set seaborne に お い て も の scattered intelligence を remuneration may use な BOBW order を new た に proposal し, each set に specialized し た order に than べ て loss が 々 2 times higher degree で え suppression ら れ る こ と を prove し た. The <s:1> results of the トップ learning theory トップ were recorded at the COLT2022に された. に, バ ン デ ィ ッ ト problem を generalization し た problem ク ラ ス と し て グ ラ フ フ ィ ー ド バ ッ ク pay き バ ン デ ィ ッ ト や 観 test questions と よ ば れ る set が know ら れ て い る. This study で は こ れ ら の set に し seaborne て "optimization に よ る explore" と よ ば れ る in recent years, don't know の context で ら れ る よ う に な っ た gimmick を take り れ る こ と で BOBW order を new た に constitute し た. こ の results は rote learning の ト ッ プ meeting NeurIPS2022 お よ び learning theory の ト ッ プ meeting ALT2023 に transcribing さ れ た. Written の BOBW order は い ず れ も ラ ン ダ ム sentaku の を moment of probabilistic distribution ご と に optimization calculation に よ っ て o め る necessary が あ っ た. こ れ に し seaborne て, optimization calculation の don't な ラ ン ダ ム order で あ る Follow - The - Perturbed - Leader (FTPL) が BOBW sex を a possible で あ る か は long unresolved で あ っ た が, this study で は polices according to polynomial に masato す る algebra な gimmick を with い る こ と で こ の を affirmative に solve し た. <s:1> the result is された ALT2023に recorded された. そ の wrist of him, and the optimum recognition と よ ば れ る set に し seaborne て ラ ン ダ ム order を contained む generally の order に す seaborne る theory limit を new た に build し た. <s:1> the results are に NeurIPS2022に and された.

项目成果

Bayesian optimization with partially specified queries

使用部分指定查询的贝叶斯优化

• DOI: 10.1007/s10994-021-06079-3
• 发表时间: 2022
• 期刊: Machine Learning
• 影响因子: 7.5
• 作者: Shogo Hayashi;Junya Honda;Hisashi Kashima
• 通讯作者: Hisashi Kashima

汎用的な逐次意思決定アルゴリズムに向けて

迈向通用顺序决策算法

• 发表时间: 2022
• 作者: Kentaro Kikuchi;Takahito Aoto;本多淳也
• 通讯作者: 本多淳也

Mediated Uncoupled Learning: Learning Functions without Direct Input-output Correspondences

• 发表时间: 2021-07
• 作者: Ikko Yamane;J. Honda;F. Yger;Masashi Sugiyama

Follow-the-Perturbed-Leader Achieves Best-of-Both-Worlds for Bandit Problems

跟随不安的领导者在解决强盗问题方面取得了两全其美的效果

• 发表时间: 2023
• 期刊: Proceedings of The 34th International Conference on Algorithmic Learning Theory (ALT2023)
• 作者: Junya Honda;Shinji Ito;Taira Tsuchiya
• 通讯作者: Taira Tsuchiya

Nearly Optimal Best-of-Both-Worlds Algorithms for Online Learning with Feedback Graphs

带反馈图的在线学习的近乎最优的两全其美算法

• 发表时间: 2022
• 期刊: Advances in Neural Information Processing Systems
• 作者: Shinji Ito;Taira Tsuchiya;Junya Honda
• 通讯作者: Junya Honda