Study on deep neural nets with group theory

点击翻译按钮获取中文摘要

本研究計画はZaheerらの定義した対称性を持った深層ニューラルネットの理論を群論、表現論、不変式論の見地から一般化、精密化するものであった。一般化の 最初のステップとしてSnの自然表現の二階のテンソル作用を考える。これは作用として置換作用の自然な一般化でありながら、 グラフを入力とする関数を考え る時に自然に現れる存在でもある。Zaheer の場合もそうであるように、構成のキーとなるのは作用空間の対称代数の不変式論である。またこの不変式環にはグ ラフ理論的な意味づけを与えることができ、この視点から深層ニューラルネットを構成する。これまでの研究としてはグラフを入力とする深層ニューラルネットをより一般の有限群に対称性を持った関数として取り扱い、それをうまく近似する対称性を持った深層ニューラルネットを構成することに成功した。具体的な手法としては不変式論で使われるレイノルズ作用素を用いることで通常の深層ニューラルネットを不変・同変性を持った深層ニューラルネットに変換する。さらに変換前の深層ニューラルネットは入力変数を削減することが可能であるという現象も発見した。この結果についてはプレプリントを公開し、国際的なジャーナルへ投稿する予定である。今年度はさらに構造的因果モデルに関するメタ学習の研究を行なった。同じ構造式を持つ構造的因果モデルはある潜在空間上でその因果を対称性として捉えることができ、その対称性を用いることで効率的なメタ学習モデルを構成することができることを示した。これについても国際会議などに投稿予定である。