Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming

点击翻译按钮获取中文摘要

2021年度の取り組みにより，積分二次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いた再帰型ニューラルネットワーク (Reccuernt Neural Network, RNN) の安定性解析に関する基本的な枠組みを構築することができた．本研究では，RNNの活性化関数として正規化線形ユニット(Rectified Linear Unit, ReLU)が標準的に用いられることに着目している．安定性解析における基本的な考え方は，RNNをReLUと線形部からなる非線形フィードバック系と捉え，さらにIQCの枠組みでReLUの出力の非負性を捉えるために共正値マルチプライアを導入することで，RNNの安定性判別を可能とする半正定値計画問題を導出するというものである．ReLUの特性を捉えるために共正値計画という特殊な錐計画を利用している点に本研究の独創性がある．このRNNの安定性解析手法の構築過程で，ReLUの出力が非負値に限定されることに関連して，線形時不変システムの入力を非負に限定した場合のL2誘導ノルム（L2+誘導ノルムと称する）が ，RNN を含むニューラルネットワークの安定性や性能解析において有用であることが分かった．そのため，線形時不変システムのL2+誘導ノルムの解析に関する研究を進め，L2+誘導ノルムの上界値および下界値を算出するための基本的な枠組みを構築した．