深層学習モデルの非線形構造についての表現能力に基づいた数理解析

点击翻译按钮获取中文摘要

本研究の目的は，深層学習モデルの表現能力に関する体系的な理論の構築であった．具体的な課題は，表現集合に基づいたこれまでの解析を拡張することであった．初年度の主な結果として，アフィン関数とReLU活性化関数の加算，連結，合成によって設計される任意の深層学習モデルは，いずれも多層パーセプトロンモデルに帰着されることが示された．この結果は，当初の課題の一つであった，任意のモデルを統一的なモデルへ帰着する方法の構成に対応する結果である．次年度の主な結果については，活性化関数の一般化に関する結果として，区分線形関数を活性化関数にもつパーセプトロンがReLU関数を設計可能であることを示した．この結果は，AroraらのICLR2018の結果の逆命題に相当する結果であり，したがって，ReLU関数と区分線形関数の活性化関数としてのある種の等価性が得られる．もう一つの結果として，前年度までの結果の仮定を一般化し，アフィン関数と区分線形関数の加算，連結，合成によって設計される任意の深層ニューラルネットワークモデルはいずれも多層パーセプトロンモデルに帰着されることが示された．この結果についての進捗は、日本応用数理学会2022年度年会、日本数学会2022年度秋季総合分科会、日本数学会応用数学分科会2022年度応用数学合同研究集会にて口頭発表を行った．また，情報処理学会論文誌の64巻6号に掲載予定であり，当初の課題の一つである，非線型構造の表現集合理論の構築に対応する結果である．これらの結果は，当初計画していた予定の全てを網羅するわけではないものの，深層学習モデルの表現能力に関する体系的な理論の構築のための研究は進展したと考えられ，また，今後の展望として，各活性化関数と区分線形関数との対応の調査，活性化関数に限らないモデルの大域的な非線形構造の解析といった二つの具体的な研究方針を得ることができた．