非正則な確率推論モデルのための最適学習アルゴリズム

点击翻译按钮获取中文摘要

パラメータが識別不能であるような非正則な学習モデルにおいてはベイズ法による学習が有効であることが知られている。ベイズ法を実現するためにはパラメータの事後分布を生成する必要があるが、事後分布の計算には高次元積分が必要となるために、様々な近似法が提案されてきた。その一つの方法として、変分ベイズ法があるが、その有用性にもかかわらず、変分ベイズ法の理論的な性質は明らかにされてこなかった。また、実際の変分ベイズ法の学習アルゴリズムは繰り返し法を用いているために、局所解への収束といった問題があり、その性質はあまり明らかにされてこなかった。ベイズ法においては確率的複雑さが重要な量であり、近年いくつかの非正則な学習モデルについてもベイズ法における確率的複雑さが理論的に明らかにされてきた。その結果、確率的複雑さを比較することで、変分ベイズ法を始めとした種々の近似法の精度について議論できるようになった。これまでの研究により、混合分布モデルの変分ベイズ法における確率的複雑さの理論的振る舞いが明らかにされている。混合分布モデルは一つの隠れ変数を持つベイジアンネットワークで表すことができる。本年度はこれまでの結果を、複数の隠れ変数を持つ一般のベイジアンネットワークの場合に拡張することで、変分ベイズ法の近似法としての精度や、変分ベイズ法における事前分布の影響などの性質が明らかにされた。変分ベイズ学習では近似分布から事後分布までのカルバック情報量最小化が行なわれる。本研究ではさらに、事後分布からみた近似分布までのカルバック情報量を最小にする近似法について考察し、二つの近似法の比較を行なった。非正則モデルのベイズ学習について、近似事後分布の広がりの大きさや近似精度の評価を行ない、この両者の相違を示した。