Information Criterion WBIC and its improvement

点击翻译按钮获取中文摘要

統計学と学習理論において不確実性は未知であり、科学的な分析を行うユーザーは自身が作成した確率モデルと事前分布がデータの生成過程とは異なる架空の候補にすぎないことに気づいている。すなわち、現代の統計的分析においては確率モデルと事前分布の妥当性を評価しチェックを行うことは必須となる手続きであるが、そのための数学的な基盤は未だに十分には確立されていない。確率モデルと事前分布の評価を行うための指標として代表的なものに自由エネルギー（マイナス対数周辺尤度、確率的複雑さ）、交差検証、情報量規準がある。自由エネルギーによるモデル評価は、モデル族の中にデータ生成分布が含まれているときには良好であることが知られているが、汎化誤差を推定するという観点からはバイアスとバリアンスのバランスが適切でないという問題点がある。一方、交差検証と情報量規準は汎化誤差の漸近的な不偏推定を与えるが、汎化誤差と逆相関を持つという問題点があることが知られていた。2022年度の研究では、交差検証と情報量規準の数学的な性質に基づいて、汎化誤差の漸近的な不偏推定量であり、かつ、汎化誤差と逆相関を持たない推定量である調整された交差検証と情報量規準を構成し、汎化誤差の推定量としての二乗誤差が交差検証や情報量規準よりも小さくなることを理論的に明らかにした。また行列分解などの事後分布が正規分布で近似できない特異モデルにおいても、良好な汎化誤差の推定ができることを実験的に確認した。