統計力学的計算手法に基づくモデル選択規準の開発研究

統計力学的手法を用いて, 物理学の観点から統計モデルの性質を研究した. 研究対象は2021年度に引き続き, スパース推定の枠組みである Sparse Bayesian Learning (SBL) を伴う線形回帰モデルとした. かねてよりSBLの線形回帰モデルの推定性能に関して, その漸近的振る舞いを解析している. これまでに推定性能のデータ数依存性に関しては大まかな性質を捉えている.2022年度はさらに, SBLの階層的事前分布に含まれるハイパーパラメータの値が推定性能にどのような影響を与えるかについて解析に取り組んだ. その結果推定誤差を小さくするハイパーパラメータの領域と, 誤差を大きくする領域が明確に分かれているような振る舞いを観測した. この結果を関連研究と比較したところ, 誤差を分ける境界線が存在する可能性については共通した. しかしながら誤差が小さいハイパーパラメータ領域の位置など, 関連研究と一見相反するような側面もあるため議論を重ねる必要がある. また今回の解析ではいくつかのハイパーパラメータの領域において, 推定誤差を解析することは困難であった. この問題に関しては解析途中で直面する, 事前分布を被積分関数の一部として含む積分の数値的処理方法に改善の余地がある. 誤差の解析が困難であったハイパーパラメータの領域では事前分布の形状が急峻に, あるいは平坦になることを確認している. このような場合上述の積分に対する数値積分の精度が低下し, 推定誤差の解析に困難をきたすと考えている.

統計力学的手法を用いて, 物理学の観点から統計モデルの性質を研究した. 研究対象は2021年度に引き続き, スパース推定の枠組みである Sparse Bayesian Learning (SBL) を伴う線形回帰モデルとした. かねてよりSBLの線形回帰モデルの推定性能に関して, その漸近的振る舞いを解析している. これまでに推定性能のデータ数依存性に関しては大まかな性質を捉えている.2022年度はさらに, SBLの階層的事前分布に含まれるハイパーパラメータの値が推定性能にどのような影響を与えるかについて解析に取り組んだ. その結果推定誤差を小さくするハイパーパラメータの領域と, 誤差を大きくする領域が明確に分かれているような振る舞いを観測した. この結果を関連研究と比較したところ, 誤差を分ける境界線が存在する可能性については共通した. しかしながら誤差が小さいハイパーパラメータ領域の位置など, 関連研究と一見相反するような側面もあるため議論を重ねる必要がある. また今回の解析ではいくつかのハイパーパラメータの領域において, 推定誤差を解析することは困難であった. この問題に関しては解析途中で直面する, 事前分布を被積分関数の一部として含む積分の数値的処理方法に改善の余地がある. 誤差の解析が困難であったハイパーパラメータの領域では事前分布の形状が急峻に, あるいは平坦になることを確認している. このような場合上述の積分に対する数値積分の精度が低下し, 推定誤差の解析に困難をきたすと考えている.