特異的な学習モデルにおけるベイズ事後分布の最適実現法

贝叶斯后验分布在特定学习模型中的优化实现

• 批准号: 06J05809
• 负责人: 永田 賢二
• 金额: $ 1.73万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-06J05809/
• 关键词: 機械学習; 特異モデル; ベイズ学習; ベイズ事後分布; マルコフ連鎖モンテカルロ法; 交換モンテカルロ法; 平均交換率; ギブスサンプラー; 対称カルバック距離

ニューラルネットワークや混合正規分布などの階層構造をもつ確率モデルは、特異モデルと呼ばれるクラスに属し、特異モデルにおける学習アルゴリズムとして、ベイズ学習が最尤法やMAP法に比べて予測性能に優れることが理論的に明らかにされている。しかしながら、ベイズ学習を行う上で必要となるベイズ事後分布による期待値計算は解析的に行うことができず、また、マルコフ連鎖モンテカルロ(MCMC)法による計算機を用いた手法でも、一般に計算量が膨大になり、その近似精度も不明である。特に、特異モデルにおいては事後分布の形状が複雑なため、これらの問題が顕著に現れることが知られている。そこで、本研究では、特異モデルにおけるベイズ事後分布を最適に実現することを目的として、研究を行った。具体的な研究成果として、統計力学の分野で提案されたMCMC法の改良アルゴリズムである交換モンテカルロ法を特異モデルに用いることを提案し、その有効性を予測精度、及び、事後分布の近似精度から実験的に明らかにした。また、交換モンテカルロ法の設計の際に重要となる平均交換率の漸近挙動を理論的に導出し、平均交換率と対称カルバック距離との関係を明らかにし、それらの結果から最適な温度パラメータの設定法を提案した。さらに、混合正規分有において、ギブスサンプラーを用いた交換モンテカルロ法の新たなアルゴリズムを提案し、その有効性をサンプリングの精度と予測精度の二つの観点から実験的に明らかにした。

ニ ュ ー ラ ル ネ ッ ト ワ ー ク や mixture normal distribution な ど の class structure を も つ probabilistic モ デ ル は, specific モ デ ル と shout ば れ る ク ラ ス に し and specific モ デ ル に お け る learning ア ル ゴ リ ズ ム と し て, ベ イ が ズ learning especially や MAP method に than べ て in performance measurement に optimal れ る こ と が theory に Ming ら か に さ れ て い る. し か し な が ら, ベ イ ズ learning on line を う で necessary と な る ベ イ ズ afterwards distribution に よ る line forward to numerical calculation は analytic に う こ と が で き ず, ま た, マ ル コ フ chain モ ン テ カ ル ロ method (MCMC) に よ る computer を with い た gimmick で も, general に computation が swelled に な り, そ の approximation precision も unknown で あ る. に, specific モ デ ル に お い て は shape distribution の が later after 雑 な た め, こ れ ら の problem が 顕 the に now れ る こ と が know ら れ て い る. そ こ で, this study で は, specific モ デ ル に お け る ベ イ ズ afterwards distribution を optimum に be presently す る こ と を purpose と し を line っ て, research た. Specific な research と し て, statistical mechanics の eset で proposal さ れ た MCMC method modified ア の ル ゴ リ ズ ム で あ る exchange モ ン テ カ ル ロ method を specific モ デ ル に with い る こ と を proposal し, そ の have sharper sex を to measuring precision, and び, afterwards distribution の approximation precision か ら be 験 に Ming ら か に し た. ま た, exchange モ ン テ カ ル ロ method to design the event の に の important と な る average exchange rate の asymptotic 挙 に export し を theory, the average exchange rate と said seaborne カ ル バ ッ ク distance と の masato を and Ming ら か に し, そ れ ら の results か ら optimum な temperature パ ラ メ ー タ の setting method proposed を し た. さ ら に, mixed regular points have に お い て, ギ ブ ス サ ン プ ラ ー を with い た exchange モ ン テ カ ル ロ method の new た な ア ル ゴ リ ズ ム を proposal し, そ の have sharper sex を サ ン プ リ ン グ の と to precision measurement precision の two つ の 観 point か ら be 験 に Ming ら か に し た.

项目成果

Analysis ofExchange Ratio forExchange MonteCarloMethod

交换蒙特卡罗法的​​交换比分析

• 发表时间: 2007
• 作者: K. Nagata

交換モンテカルロ法における交換率の解析

汇率蒙特卡罗法分析

• 发表时间: 2006
• 期刊: 情報論的学習理論(IBIS)予稿集 Vol.9
• 作者: 永田賢二;渡辺澄夫
• 通讯作者: 渡辺澄夫

統計的推測の状態方程式に関する実験的検討

统计推断状态方程的实验研究

• 发表时间: 2008
• 作者: 渡辺 澄夫;永田 賢二
• 通讯作者: 永田 賢二

交換モンテカルロ法における熱浴型交換率の解析

蒙特卡罗交换法中热浴式汇率分析

• 发表时间: 2007
• 期刊: 電子情報通信学会 信学技報 106・588
• 作者: 永田賢二;渡辺澄夫
• 通讯作者: 渡辺澄夫

The Exchange Monte Carlo Method for Bayesian Learning in Singular Learning Machines

奇异学习机中贝叶斯学习的交换蒙特卡罗方法

• 发表时间: 2006
• 期刊: Proceedings of IEEE World Congress on Computational Intelligence 2006 (WCCI2006)
• 作者: Kenji Nagata;Sumio Watanabe
• 通讯作者: Sumio Watanabe