深層統計モデルによる科学的仮説検証のための非漸近推測理論の開発

使用深度统计模型开发用于科学假设检验的非渐近推理理论

• 批准号: 21K11780
• 负责人: 今泉 允聡
• 金额: $ 2.5万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11780/
• 关键词: 深層学習; 統計学; 統計的推論; 深層モデル; 過剰パラメータ; 汎化誤差; ガウス近似

本研究計画の目的は、深層ニューラルネットワークなどの多層構造や大自由度を持つ統計的モデルに対して、データに依存する不確実性を評価し、推定・予測の誤差を評価したり統計的推論の手法を構成することである。具体的には、ニューラルネットワークの関数表現能力を解析するとともに、データや学習アルゴリズムが持つランダムさ（不確実性）が推定や予測に与える影響を解析する。本年の研究実績は、主に二つに分けられる。一つは層が浅いが非常に多いパラメータを持つモデル（ニューラルネットワーク含む）に対する推定・推論性能の導出、もう一つは層が多いニューラルネットワークに対する推定性能の導出、の2点である。一つ目の層が浅いがパラメータが多いモデルについて、複数の応用的な設定において、学習によって得られるモデルの推定誤差や推論のための漸近分布をおこなった。具体的には、従属性を保つデータのための線形モデル、因果推論に用いられるモーメント制約や内生性を持つモデル、関数データなどの無限次元性を持つモデル、最適輸送を用いた統計モデルのような二重の最適化問題で定義される関数モデルについて、その推定誤差や漸近分布を導出した。これらの応用的研究は、近年発展している過剰パラメータ理論などをより幅広い統計モデルで使えることを示すものである。これらの研究はいくつかの学術雑誌に採択され、またいくつかは査読中である。二つ目の層が多いモデルについては、損失関数の形状に基づく予測誤差（汎化誤差）の特徴付けをおこなった。具体的には、非凸な期待損失関数が局所最適解の近傍で良い性質を持っているときに、学習アルゴリズムがその解の近傍に滞留しかつ良い予測性能を持つことを示した。これは、層の数やパラメータが大きいときにもそれらの影響が予測誤差に直接は影響しないことを示している。この研究は権威ある学術雑誌に採択された。

Plan は の purpose, this study deeply ニ ュ ー ラ ル ネ ッ ト ワ ー ク な ど の や multilayer structure flexibility を hold つ statistical モ デ ル に し seaborne て, デ ー タ に dependent す る uncertain be sex を review 価 し, presumption can be を の error evaluation 価 し た り statistical inference の gimmick を constitute す る こ と で あ る. Specific に は, ニ ュ ー ラ ル ネ ッ ト ワ ー ク の masato several performance ability を parsing す る と と も に, デ ー タ や learning ア ル ゴ リ ズ ム が hold つ ラ ン ダ ム さ presumption (uncertain be) が や to に measurement and え る effect を resolution す る. This year, the research achievements of に and the principal に are two に に points けられる. A つ は が shallow い が very に more い パ ラ メ ー タ を hold つ モ デ ル (ニ ュ ー ラ ル ネ ッ ト ワ ー ク む) に す seaborne る presumption, inference performance の export, も う a つ は layers が い ニ ュ ー ラ ル ネ ッ ト ワ ー ク に す seaborne る presumption の export performance, の 2 で あ る. A つ mesh の が shallow い が パ ラ メ ー タ が more い モ デ ル に つ い て, plural の 応 with な setting に お い て, learning に よ っ て have ら れ る モ デ ル の presumption error や inference の た め の asymptotic distribution を お こ な っ た. Specific に は, 従 attribute を bartender つ デ ー タ の た め の linear モ デ ル, causal inference に い ら れ る モ ー メ ン ト restrict や endogenous を hold つ モ デ ル, masato デ ー タ な ど の infinite dimensional sex を hold つ モ デ ル, the optimal transportation を い た statistical モ デ ル の よ う な double の optimization problem definition で さ れ る masato number モ デ ル に つ い て, そ の presumption error The や asymptotic distribution を leads to を た. こ れ ら の 応 research は, recent 発 exhibition し て い る before turning パ ラ メ ー タ theory な ど を よ り picture hiroo い statistical モ デ ル で make え る こ と を shown す も の で あ る. こ れ ら の research は い く つ か の academic 雑 tzu に mining 択 さ れ, ま た い く つ か は check in 読 で あ る. Two layer つ mesh の が い モ デ ル に つ い て は, number of loss masato の shape に づ く to measurement error (generalization error) の 徴 pay け を お こ な っ た. Specific に は, non-convex な expect losses masato の nearly alongside で が bureau showed the optimal solution of good nature い を hold っ て い る と き に, learning ア ル ゴ リ ズ ム が そ の solution の nearly alongside に stranded し か つ good い to measure performance を hold つ こ と を shown し た. こ れ は, layer number of の や パ ラ メ ー タ が big き い と き に も そ れ ら の が to measuring error に は directly affects し な い こ と を shown し て い る. <s:1> <s:1> research 権 権 wei ある academic 雑 reports に interviews 択された.

项目成果

Learning Causal Relationships from Conditional Moment Restrictions by Importance Weighting

通过重要性权重从条件矩限制中学习因果关系

• 发表时间: 2022
• 期刊: International Conference on Learning Representations
• 作者: M.Kato;M.Imaizumi;K.McAlinn;S.Yasui;H.Kakehi
• 通讯作者: H.Kakehi

On Generalization Bounds for Deep Networks Based on Loss Surface Implicit Regularization

• DOI: 10.1109/tit.2022.3215088
• 发表时间: 2022-01
• 期刊: IEEE Transactions on Information Theory
• 影响因子: 2.5
• 作者: M. Imaizumi;J. Schmidt-Hieber

Unified Perspective on Probability Divergence via the Density-Ratio Likelihood: Bridging KL-Divergence and Integral Probability Metrics

• 发表时间: 2023
• 作者: Masahiro Kato;M. Imaizumi;Kentaro Minami

線形時系列モデルにおける良性過適合

线性时间序列模型中的良性过度拟合

• 发表时间: 2022
• 作者: 仲北 祥悟

Stability of Deep Network Estimator for Nonparametric Regression

非参数回归深度网络估计器的稳定性

• 发表时间: 2022
• 作者: Kurokawa Yota;Fukushi Masaru;Masaaki Imaizumi
• 通讯作者: Masaaki Imaizumi