学習理論における特異性とその代数幾何学的性質およびその応用

点击翻译按钮获取中文摘要

学習システムの目的は,たとえば,画像認識,音声認識,遺伝子解析,データマイニンである.このような学習データは,正規分布に従っているような単純なものではなく,非常に複雑な構造をもっている.したがって,このような目的のために用いられる学習モデルは十分複雑なものを考えなくてはならない.現在,そのようなデータを扱える学習モデルとして,階層構造,内部構造を持つものが応用されている.これらのモデルは,パラメータを変えることできわめて多くの確率分布となりえることが証明されている.このようなモデルを特異モデルという.渡邊澄夫教授は,特異モデルに関して,ベイズ推測において重要な役割を果たす確率的複雑さが,特異点解消により構成された方法論と数理的に緊密な関係を持つことを明らかにした.しかし,実はこのような数理の確立にもかかわらず,計算を行うことは非常に困難であった.特異点解消自身の困難性や,特異点の非孤立性,ニュートン図形の退化などが理由である.今年度は,これらの困難性を個別のモデルに対して工夫を行いながら克服し,昨年度よりさらに一般化した3層ニューラルネットワークの場合について,確率的複雑さの厳密な漸近展開を与えた.さらにその方法を混合正規分布にも応用した.方法の概略は昨年度と同様recursive blowing-up及びトーリック多様体による特異点を帰納的に解消する方法である.この方法で上限のみしか得られていなかった学習モデルのゼータ関数の最大の極およびその位数の値を与え,汎化誤差の漸近展開を明らかにした.今後は,スピンモデルについても考察していきたい。