权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming

圆锥规划循环神经网络的稳定性分析与优化综合

基本信息

批准号：
21H01354
负责人：
蛯原義雄
金额：
$ 10.73万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

2021年度の取り組みにより，積分二次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いた再帰型ニューラルネットワーク (Reccuernt Neural Network, RNN) の安定性解析に関する基本的な枠組みを構築することができた．本研究では，RNNの活性化関数として正規化線形ユニット(Rectified Linear Unit, ReLU)が標準的に用いられることに着目している．安定性解析における基本的な考え方は，RNNをReLUと線形部からなる非線形フィードバック系と捉え，さらにIQCの枠組みでReLUの出力の非負性を捉えるために共正値マルチプライアを導入することで，RNNの安定性判別を可能とする半正定値計画問題を導出するというものである．ReLUの特性を捉えるために共正値計画という特殊な錐計画を利用している点に本研究の独創性がある．このRNNの安定性解析手法の構築過程で，ReLUの出力が非負値に限定されることに関連して，線形時不変システムの入力を非負に限定した場合のL2誘導ノルム（L2+誘導ノルムと称する）が，RNN を含むニューラルネットワークの安定性や性能解析において有用であることが分かった．そのため，線形時不変システムのL2+誘導ノルムの解析に関する研究を進め，L2+誘導ノルムの上界値および下界値を算出するための基本的な枠組みを構築した．

In 2021, we took the みによみによ Integral Quadratic constraints (Integral Quadratic Constraint, IQC) と altogether is nt マルチプライアを with いた type again 帰ニューラルネットワーク (Reccuernt Neural Network, RNN) <s:1> stability analysis に relations する basic な枠 set みを construction するとがでとがでたたた. This study では, RNN の activeness masato number として regularized Linear ユニット (Rectified Linear Unit, ReLU) が standard に with いられることに with mesh している. Stability analytical における basic な exam えは, RNN を ReLU と linear department からなる nonlinear フィードバックと catch え, さらに IQC の枠 group みで ReLU の output の non negative を catch えるために altogether is nt マルチプライアを import することで, The RNN <s:1> stability discrimination を possible とする semi-positive determination scheme problem を leads to するとうう <s:1> であるであるである. ReLU の features を catch えるために altogether are numerical program という special な cone program を using していにる point of this study の originality がある. この RNN の stability analytical technique ので building process, ReLU の output が nonnegative numerical に qualified されることに masato even して, while linear - システムのを nonnegative に into force limited した occasions の L2 induced ノルム (L2 + induced ノルムと said する) が, RNN を containing むニューラルネットワークの stability や performance analytical において useful であることが points かった. そのため, linear - not システムの L2 + induced ノルムの parsing に masato すをる research into め, L2 + induced ノルムの upper numerical および lower numerical を calculate するための basic な枠 group みを build した.