Information Criterion WBIC and its improvement

信息准则WBIC及其改进

• 批准号: 21K12025
• 负责人: 渡邊 澄夫
• 金额: $ 1.16万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12025/
• 关键词: WBIC; 特異モデル; 実対数閾値; 調整された交差検証; 調整された情報量規準; WAIC; 汎化誤差; 自由エネルギー; 特異学習理論; 代数幾何

統計学と学習理論において不確実性は未知であり、科学的な分析を行うユーザーは自身が作成した確率モデルと事前分布がデータの生成過程とは異なる架空の候補にすぎないことに気づいている。すなわち、現代の統計的分析においては確率モデルと事前分布の妥当性を評価しチェックを行うことは必須となる手続きであるが、そのための数学的な基盤は未だに十分には確立されていない。確率モデルと事前分布の評価を行うための指標として代表的なものに自由エネルギー（マイナス対数周辺尤度、確率的複雑さ）、交差検証、情報量規準がある。自由エネルギーによるモデル評価は、モデル族の中にデータ生成分布が含まれているときには良好であることが知られているが、汎化誤差を推定するという観点からはバイアスとバリアンスのバランスが適切でないという問題点がある。一方、交差検証と情報量規準は汎化誤差の漸近的な不偏推定を与えるが、汎化誤差と逆相関を持つという問題点があることが知られていた。2022年度の研究では、交差検証と情報量規準の数学的な性質に基づいて、汎化誤差の漸近的な不偏推定量であり、かつ、汎化誤差と逆相関を持たない推定量である調整された交差検証と情報量規準を構成し、汎化誤差の推定量としての二乗誤差が交差検証や情報量規準よりも小さくなることを理論的に明らかにした。また行列分解などの事後分布が正規分布で近似できない特異モデルにおいても、良好な汎化誤差の推定ができることを実験的に確認した。

不确定性在统计和学习理论中未知，科学分析的用户意识到，他们创建的概率模型和先验只是虚构的候选人，与数据生成过程不同。换句话说，在现代统计分析中，必须评估和检查概率模型和先前分布的有效性，但仍未完全确定这一点的数学基础。评估概率模型和先前分布的典型指标包括自由能（负对数外围可能性，随机复杂性），交叉验证和信息标准。尽管众所周知，当模型家族中包含数据生成分布时，使用自由能的模型评估是好的，但是从估计概括错误的角度来看，偏差和方差之间的平衡是不合适的。另一方面，交叉验证和信息标准提供了对泛化错误的无偏估计，但众所周知，它与概括错误有反相关性。 2022年的研究理论上表明，基于交叉验证和信息标准的数学特性，它构成了概括性估计量的渐近估计量和一个与概括错误无相关的估计器，而与跨性别的估计值相关性较小的是跨越跨度和信息的估计值。此外，通过实验证实，即使在诸如矩阵分解之类的奇异模型中，也无法通过正态分布近似地近似，即使在奇异模型中也可以估计良好的概括误差。

项目成果

Algebraic Geometry and Statistical Theory

代数几何与统计理论

• DOI: 10.11540/bjsiam.31.3_7
• 发表时间: 2021
• 期刊: Bulletin of the Japan Society for Industrial and Applied Mathematics
• 作者: Rage Uday Kiran;Philippe Fournier-Viger;Jose Maria Luna;Jerry Chun-Wei Lin; Anirban Mondal;Sumio Watanabe;Sumio Watanabe;Sumio Watanabe;渡辺澄夫
• 通讯作者: 渡辺澄夫

Recent Advances in Algebraic Geometry and Bayesian Statistics

代数几何和贝叶斯统计的最新进展

• DOI: 10.1007/s41884-022-00083-9
• 发表时间: 2022
• 期刊: Information Geometry
• 作者: Rage Uday Kiran;Philippe Fournier-Viger;Jose Maria Luna;Jerry Chun-Wei Lin; Anirban Mondal;Sumio Watanabe;Sumio Watanabe;Sumio Watanabe
• 通讯作者: Sumio Watanabe

Mathematical Theory of Bayesian Statistics where all models are wrong

所有模型都是错误的贝叶斯统计数学理论

• DOI: 10.1016/bs.host.2022.06.001
• 发表时间: 2022
• 期刊: Handbook of Statistics, Elsevior
• 作者: Rage Uday Kiran;Philippe Fournier-Viger;Jose Maria Luna;Jerry Chun-Wei Lin; Anirban Mondal;Sumio Watanabe;Sumio Watanabe
• 通讯作者: Sumio Watanabe

Singularity Theory in Statistical Science

统计科学中的奇点理论

• 发表时间: 2022
• 作者: Rage Uday Kiran;Philippe Fournier-Viger;Jose Maria Luna;Jerry Chun-Wei Lin; Anirban Mondal;Sumio Watanabe;Sumio Watanabe;Sumio Watanabe;渡辺澄夫;Sumio Watanabe;Sumio Watanabe
• 通讯作者: Sumio Watanabe

渡辺澄夫

渡边澄男