予測符号化ネットワークを用いたミラーニューロンシステムの数理モデル化とその解析

使用预测编码网络对镜像神经元系统进行数学建模和分析

• 批准号: 20J13556
• 负责人: 田村 浩人
• 金额: $ 1.34万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13556/
• 关键词: リカレントニューラルネットワーク; リザバー計算; 逐次教師あり学習; FORCE学習; Full-FORCE学習

前年度に開発したTwo-step FORCE学習は，従来のFORCE学習に比べて計算量が小さいという利点の一方で，主学習で用いる入力や教師データを事前学習でも使わなければならないという欠点があった．本年度はこれを解決するため，事前学習において様々なタイプの時系列を網羅した入力や教師データを用いた，Transfer-FORCE学習を開発した．本手法は，一度事前学習を行えば主学習にて様々なタスクを扱えるため，従来のFORCE学習と同様に扱うことができる．本手法についての数値的・理論的解析をまとめた論文が学術誌に掲載された．並行して，前年度に引き続き，FORCE学習の発展的手法であるFull-FORCE学習の改良に注力した．Full-FORCE学習では，隠れ層の活動の目標値を生成するために，学習対象のネットワークに加えて，第二のネットワーク(教師リザバー)を用いる．Full-FORCE学習における仮定では，これら2つのネットワークは共通のハイパーパラメータを持つ必要があるため，独立に最適なハイパーパラメータ探索を行えないという問題があった．これを解決するため，本研究では，(i)Partial-FORCE学習， (ii)Hidden-FORCE学習，という2つの発展的手法を開発した．Partial-FORCE学習では，各ネットワークの一部のニューロンのみを学習の対象とすることで，様々なモデル構造を実現可能にした．各モデル構造と学習性能の関係を解析した結果を国際会議にて発表した．Hidden-FORCE学習では，学習に用いる誤差の定義を修正することで，教師リザバーのパラメータに関する情報が不要となった．これにより，独立なハイパーパラメータ探索が可能になった他，実験データを隠れ層の活動の目標値として陽に与える場合にも適用可能となった．現在この内容は投稿論文として準備中である．

Previous year's development Two-step FORCE learning is the first step in FORCE learning. The amount of calculation is small. The main learning is the input force. The teacher is the first step in learning. This year's Transfer-ForCE study was launched. This technique is used to study in advance. It is used to study in advance. This paper is published in academic journals. In parallel, the previous year introduced a new approach to the development of FORCE learning. Full-FORCE learning, the purpose of the activity of the layer is generated, the learning object is generated, the second generation is used. Full-FORCE learning, the second generation is used, the third generation is used, the fourth generation Independently, the best way to solve this problem This study aims to solve the problems of (i)Partial-FORCE learning,(ii)Hidden-FORCE learning, and (iii) the development of techniques.Partial-FORCE learning is a part of the learning process of each individual. The relationship between structure and learning performance is analyzed. The results of international conferences are presented.Hidden-FORCE learning is used. The definition of error is corrected. The information about teacher is not available. The purpose of this activity is to explore the possibility of using it independently. The content of the paper is now being prepared.

项目成果

partial-FORCE: a fast and robust online training method for recurrent neural networks

partial-FORCE：一种快速、鲁棒的循环神经网络在线训练方法

• 发表时间: 2021
• 作者: Dugne-Hennequin Quentin Arnaud;Uchiyama Hideaki;Paulo Silva Do Monte Lima Joao;H. Tamura and G. Tanaka
• 通讯作者: H. Tamura and G. Tanaka

少数のニューロンから成るリカレントニューラルネットワークの訓練のための拡張full-FORCE法

用于训练由少量神经元组成的循环神经网络的扩展 full-FORCE 方法

• 发表时间: 2020
• 作者: 佐藤優太郎;齋藤五大;小鷹研理;竹田雄貴，阿部孝司，波部斉，大谷雅之，井口信和;村田 和義;リュウ バイイン,荒川 薫;田村 浩人，田中 剛平
• 通讯作者: 田村 浩人，田中 剛平

Transfer-RLS method and transfer-FORCE learning for simple and fast training of reservoir computing models

Transfer-RLS方法和transfer-FORCE学习用于简单快速地训练油藏计算模型

• DOI: 10.1016/j.neunet.2021.06.031
• 发表时间: 2021
• 期刊: Neural Networks
• 影响因子: 7.8
• 作者: Maniruzzaman Md.;Hasan Md. Al Mehedi;Asai Nobuyoshi;Shin Jungpil;Hiroto Tamura and Gouhei Tanaka
• 通讯作者: Hiroto Tamura and Gouhei Tanaka