Dynamical properties and computational capability of Reservoir Computing

点击翻译按钮获取中文摘要

本研究では、Recurrent Neural Network（以下、RNN）のダイナミクスと計算性能の関係を調べることで、レザバー計算の新たな指導原理を確立することを目指している。本年度は、物理レザバー計算では現実的な設定である、入力がスパースであるRNNのダイナミクスを調べた。素子数無限大の極限において動的平均場理論を適用することで、入力を部分的に受けるRNNの条件付き最大リアプノフ指数を解析的に求めることに成功した。その結果、RNNのカオスダイナミクスを抑制し、Echo State Propertyを成立させるために必要な入力結合率の下限が存在することがわかった。本結果は、複数の学会にて報告しており、現在英文雑誌への投稿に向けた準備中である。また、RNNのダイナミクスの非線形性と非線形演算性能との関係を調べるために、タスクに依存しない計算性能の指標であるInformation Processing Capacity（以下、IPC）に着目し、非線形RNNのIPCと線形RNNのIPCの相関を数値計算によって求めた。その結果、RNNが不安定性の縁（非線形RNNの場合は「カオスの縁」とも呼ばれる）に近づくほど、非線形RNNと線形RNNの計算性能が類似するという、直感に反する結果を得ることができた。本結果は、日本物理学会春季大会にて報告しており、こちらも論文投稿に向けた準備を進めている。