Creation of a foundation for a numerical approach to deep learning

点击翻译按钮获取中文摘要

申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．前年度までの計画第１フェーズに引き続き第２フェーズ「数値解析学的アプローチ基盤の構築」に段階をすすめる形で統合班の指揮の下，各班で以下の実験的研究を行った．まず数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」テーマについて研究を開始，推進した．内容としては後退誤差解析に基づいて DNN と背後の力学系を同時に理解する基盤を作ること，そしてこの成果に基づいて，解法の陽的・陰的，安定性，近似精度などの数値解法の概念が DNN に対応する数学的対象・性質をを明らかにすることである．なお既存の研究では PolyNet が陰的 Euler 法としての解釈できると主張しているが厳密ではなく，この成果によって修正を要するとみている． さらに構造保存解法を選択する可能性についての検討も行った．これはクラスタリングのために Hamilton 系が優位である可能性が指摘されていることからシンプレクティック解法等の有効性が期待されていたためである．関数近似・数値積分班は「ネットワーク積分変換における数値積分理論の枠組探究」テーマに沿って研究を推進した．内容としては前フェーズの実験結果を踏まえて有望と思われる数値積分公式について積分変換における精密な誤差評価を行い理論基盤を創ることがまず挙げられる．このとき．函数論的・関数解析学的手法などが有効であった．また， DNN の関数表現にとって適切な関数空間の模索も行った．そして，これまで既存研究では深さ方向が 1段の場合しか考えられていなかったが段数を増やした場合の積分変換とその近似についても研究を進めた．