特異的な学習モデルにおけるベイズ事後分布の最適実現法

ニューラルネットワークや混合正規分布などの階層構造をもつ確率モデルは、特異モデルと呼ばれるクラスに属し、特異モデルにおける学習アルゴリズムとして、ベイズ学習が最尤法やMAP法に比べて予測性能に優れることが理論的に明らかにされている。しかしながら、ベイズ学習を行う上で必要となるベイズ事後分布による期待値計算は解析的に行うことができず、また、マルコフ連鎖モンテカルロ(MCMC)法による計算機を用いた手法でも、一般に計算量が膨大になり、その近似精度も不明である。特に、特異モデルにおいては事後分布の形状が複雑なため、これらの問題が顕著に現れることが知られている。そこで、本研究では、特異モデルにおけるベイズ事後分布を最適に実現することを目的として、研究を行った。具体的な研究成果として、統計力学の分野で提案されたMCMC法の改良アルゴリズムである交換モンテカルロ法を特異モデルに用いることを提案し、その有効性を予測精度、及び、事後分布の近似精度から実験的に明らかにした。また、交換モンテカルロ法の設計の際に重要となる平均交換率の漸近挙動を理論的に導出し、平均交換率と対称カルバック距離との関係を明らかにし、それらの結果から最適な温度パラメータの設定法を提案した。さらに、混合正規分有において、ギブスサンプラーを用いた交換モンテカルロ法の新たなアルゴリズムを提案し、その有効性をサンプリングの精度と予測精度の二つの観点から実験的に明らかにした。

ニューラルネットワークや混合正規分布などの階層構造をもつ確率モデルは、特異モデルと呼ばれるクラスに属し、特異モデルにおける学習アルゴリズムとして、ベイズ学習が最尤法やMAP法に比べて予測性能に優れることが理論的に明らかにされている。しかしながら、ベイズ学習を行う上で必要となるベイズ事後分布による期待値計算は解析的に行うことができず、また、マルコフ連鎖モンテカルロ(MCMC)法による計算機を用いた手法でも、一般に計算量が膨大になり、その近似精度も不明である。特に、特異モデルにおいては事後分布の形状が複雑なため、これらの問題が顕著に現れることが知られている。そこで、本研究では、特異モデルにおけるベイズ事後分布を最適に実現することを目的として、研究を行った。具体的な研究成果として、統計力学の分野で提案されたMCMC法の改良アルゴリズムである交換モンテカルロ法を特異モデルに用いることを提案し、その有効性を予測精度、及び、事後分布の近似精度から実験的に明らかにした。また、交換モンテカルロ法の設計の際に重要となる平均交換率の漸近挙動を理論的に導出し、平均交換率と対称カルバック距離との関係を明らかにし、それらの結果から最適な温度パラメータの設定法を提案した。さらに、混合正規分有において、ギブスサンプラーを用いた交換モンテカルロ法の新たなアルゴリズムを提案し、その有効性をサンプリングの精度と予測精度の二つの観点から実験的に明らかにした。