機械学習理論における特異空間の幾何学的構造とその応用

点击翻译按钮获取中文摘要

ニューラルネットワークや混合正規分布などの階層型学習モデルは特異モデルと呼ばれ，フィッシャー情報量が退化するなど，従来の古典的方法では解析できないことが知られている．近年，これらの特異モデルに関して，代数幾何学分野と結びついた理論研究が行われ，ベイズ推測における汎化誤差や自由エネルギーの挙動などが明らかになってきている．特異モデルに関する自由エネルギーの主要項は，特異点解消を用いて，平均対数誤差関数の正規交差関数を求めることによって得ることができる．論文「正規交差関数の平均場近似における自由エネルギーについて」PRMU2022-127,IBISML2022-134(2023-03)では，特異点解消後の正規交差関数の場合の平均場近似について考察した．平均場近似は，ベイズ法における事後分布の近似方法として広く用いられている．一般には，平均場近似した場合の自由エネルギーは，元の自由エネルギーと異なる挙動をもつ．この論文では，正規交差関数の場合の自由エネルギーと平均場近似の自由エネルギーについて考察し，学習係数から決まる項は同じオーダーになることを証明した．また，多重線形ニューラルネットワークの学習係数について考察した．三層の場合には，すでに得られているが，更に多層へと拡張した．この結果は，現在，国際論文誌に単著で投稿中である．多重線形ニューラルネットワークの真の分布のランクが任意である場合についても考察し，学習係数とその位数の理論値を導出した．これらの結果は，階層型の学習モデルが優れている理由の一つであると思われる．