予測符号化ネットワークを用いたミラーニューロンシステムの数理モデル化とその解析

使用预测编码网络对镜像神经元系统进行数学建模和分析

• 批准号: 20J13556
• 负责人: 田村 浩人
• 金额: $ 1.34万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13556/
• 关键词: リカレントニューラルネットワーク; リザバー計算; 逐次教師あり学習; FORCE学習; Full-FORCE学習

前年度に開発したTwo-step FORCE学習は，従来のFORCE学習に比べて計算量が小さいという利点の一方で，主学習で用いる入力や教師データを事前学習でも使わなければならないという欠点があった．本年度はこれを解決するため，事前学習において様々なタイプの時系列を網羅した入力や教師データを用いた，Transfer-FORCE学習を開発した．本手法は，一度事前学習を行えば主学習にて様々なタスクを扱えるため，従来のFORCE学習と同様に扱うことができる．本手法についての数値的・理論的解析をまとめた論文が学術誌に掲載された．並行して，前年度に引き続き，FORCE学習の発展的手法であるFull-FORCE学習の改良に注力した．Full-FORCE学習では，隠れ層の活動の目標値を生成するために，学習対象のネットワークに加えて，第二のネットワーク(教師リザバー)を用いる．Full-FORCE学習における仮定では，これら2つのネットワークは共通のハイパーパラメータを持つ必要があるため，独立に最適なハイパーパラメータ探索を行えないという問題があった．これを解決するため，本研究では，(i)Partial-FORCE学習， (ii)Hidden-FORCE学習，という2つの発展的手法を開発した．Partial-FORCE学習では，各ネットワークの一部のニューロンのみを学習の対象とすることで，様々なモデル構造を実現可能にした．各モデル構造と学習性能の関係を解析した結果を国際会議にて発表した．Hidden-FORCE学習では，学習に用いる誤差の定義を修正することで，教師リザバーのパラメータに関する情報が不要となった．これにより，独立なハイパーパラメータ探索が可能になった他，実験データを隠れ層の活動の目標値として陽に与える場合にも適用可能となった．現在この内容は投稿論文として準備中である．

Before the annual に open 発 し た は Two - step FORCE learning, 従 to の FORCE learning に than べ て が small amount of calculation さ い と い う tartness の で a party, the main use learning で い る や teachers into FORCE デ ー タ を prior learning で も make わ な け れ ば な ら な い と い う points less が あ っ た. This year は こ れ を solve す る た め, prior learning に お い て others 々 な タ イ プ の series when を snare し た や teachers into FORCE デ ー タ を with い た, Transfer the -force learning を open 発 し た. Once this gimmick は, prior learning を line え ば primary learning に て others 々 な タ ス ク を Cha え る た め, 従 to の と FORCE learning with others in に Cha う こ と が で き る. This technique is に, に, て, て. The theoretical analysis of numerical values is をまとめた. The paper is published in が academic journal に and された. Parallel て て, previous year に introduced 続 続 続, FORCE learned the development techniques of <s:1> であるFull-FORCE learned <s:1> improved に injection force た た. Full - FORCE learning で は, government れ layer の の objective numerical を generated す る た め に, learning as seaborne の ネ ッ ト ワ ー ク に plus え て, second の ネ ッ ト ワ ー ク (teachers リ ザ バ ー) を with い る. Full - FORCE learning に お け る 仮 set で は, こ れ ら 2 つ の ネ ッ ト ワ ー ク は common の ハ イ パ ー パ ラ メ ー タ を hold つ necessary が あ る た め, independent に optimum な ハ イ パ ー パ ラ メ ー タ exploration line を え な い と い う problem が あ っ た. こ れ を solve す る た め, this study で は, (I) Partial - FORCE study, (ii) Hidden - FORCE study, と い う 2 つ の 発 show gimmick を open 発 し た. Partial - FORCE learning で は, each ネ ッ ト ワ ー ク の a の ニ ュ ー ロ ン の み を learning の like と seaborne す る こ と で, others 々 な モ デ を ル structure may be presently に し た. Each モデ た structure と learning performance <s:1> relationship を analysis た た results を international conference にて conclusion た た Hidden - FORCE learning で は, use learning に い の definition を る error correction す る こ と で, teachers リ ザ バ ー の パ ラ メ ー タ に masato す る intelligence が don't と な っ た. こ れ に よ り, independent な ハ イ パ ー パ ラ メ ー タ may explore が に な っ た him, be 験 デ ー タ を government れ layer の の objective numerical と し て Yang に and え る occasions に も may apply と な っ た. The content of the current と submission paper と て in preparation である.

项目成果

partial-FORCE: a fast and robust online training method for recurrent neural networks

partial-FORCE：一种快速、鲁棒的循环神经网络在线训练方法

• 发表时间: 2021
• 作者: Dugne-Hennequin Quentin Arnaud;Uchiyama Hideaki;Paulo Silva Do Monte Lima Joao;H. Tamura and G. Tanaka
• 通讯作者: H. Tamura and G. Tanaka

少数のニューロンから成るリカレントニューラルネットワークの訓練のための拡張full-FORCE法

用于训练由少量神经元组成的循环神经网络的扩展 full-FORCE 方法

• 发表时间: 2020
• 作者: 佐藤優太郎;齋藤五大;小鷹研理;竹田雄貴，阿部孝司，波部斉，大谷雅之，井口信和;村田 和義;リュウ バイイン,荒川 薫;田村 浩人，田中 剛平
• 通讯作者: 田村 浩人，田中 剛平

Transfer-RLS method and transfer-FORCE learning for simple and fast training of reservoir computing models

Transfer-RLS方法和transfer-FORCE学习用于简单快速地训练油藏计算模型

• DOI: 10.1016/j.neunet.2021.06.031
• 发表时间: 2021
• 期刊: Neural Networks
• 影响因子: 7.8
• 作者: Maniruzzaman Md.;Hasan Md. Al Mehedi;Asai Nobuyoshi;Shin Jungpil;Hiroto Tamura and Gouhei Tanaka
• 通讯作者: Hiroto Tamura and Gouhei Tanaka