深層統計モデルによる科学的仮説検証のための非漸近推測理論の開発

点击翻译按钮获取中文摘要

本研究計画の目的は、深層ニューラルネットワークなどの多層構造や大自由度を持つ統計的モデルに対して、データに依存する不確実性を評価し、推定・予測の誤差を評価したり統計的推論の手法を構成することである。具体的には、ニューラルネットワークの関数表現能力を解析するとともに、データや学習アルゴリズムが持つランダムさ（不確実性）が推定や予測に与える影響を解析する。本年の研究実績は、主に二つに分けられる。一つは層が浅いが非常に多いパラメータを持つモデル（ニューラルネットワーク含む）に対する推定・推論性能の導出、もう一つは層が多いニューラルネットワークに対する推定性能の導出、の2点である。一つ目の層が浅いがパラメータが多いモデルについて、複数の応用的な設定において、学習によって得られるモデルの推定誤差や推論のための漸近分布をおこなった。具体的には、従属性を保つデータのための線形モデル、因果推論に用いられるモーメント制約や内生性を持つモデル、関数データなどの無限次元性を持つモデル、最適輸送を用いた統計モデルのような二重の最適化問題で定義される関数モデルについて、その推定誤差や漸近分布を導出した。これらの応用的研究は、近年発展している過剰パラメータ理論などをより幅広い統計モデルで使えることを示すものである。これらの研究はいくつかの学術雑誌に採択され、またいくつかは査読中である。二つ目の層が多いモデルについては、損失関数の形状に基づく予測誤差（汎化誤差）の特徴付けをおこなった。具体的には、非凸な期待損失関数が局所最適解の近傍で良い性質を持っているときに、学習アルゴリズムがその解の近傍に滞留しかつ良い予測性能を持つことを示した。これは、層の数やパラメータが大きいときにもそれらの影響が予測誤差に直接は影響しないことを示している。この研究は権威ある学術雑誌に採択された。