Multi-source sequential knowledge regression by using transfer RNN units
Multi-source sequential knowledge regression by using transfer RNN units
复制标题
使用转移 RNN 单元的多源序列知识回归
DOI：
10.1016/j.neunet.2019.08.004
复制
发表时间：
2019-11
期刊：
影响因子：
7.8
通讯作者：
Qu Hong
中科院分区：
文献类型：
--
作者：
Xie Xiurui;Liu Guisong;Cai Qing;Wei Pengfei;Qu Hong
迁移学习在深度神经网络中取得了很大的成功，可以重用源域中的有用知识。然而，大多数现有的神经网络迁移学习策略都是用于分类任务或基于简单的训练策略，由于学习共同的潜在特征的无效性和回归中的源信息丢失，这些迁移学习策略在多源知识回归中的应用有限。在本文中，我们提出了基于长短期记忆（LSTM）和门控递归单元（GRU）的可转移递归神经网络（RNN）单元，以适应多源回归场景中的源知识。具体地说，提出了两种知识自适应方法，第一种方法利用相似度权重作为各源知识的传递系数，第二种方法定义了一个传递门来控制源知识的流动。通过使用所提出的方法，有用的源知识嵌入在内部状态和输出的适应。在Human 3.6M数据集上对合成数据和人体运动预测任务进行的广泛实验证明了我们的transfer RNN单元与传统模型相比的优越性。
Transfer learning has achieved a lot of success in deep neural networks to reuse useful knowledge from source domains. However, most of the existing transfer learning strategies on neural networks are for classification tasks or based on simple training strategies, which have limited use in multi-source knowledge regression due to the ineffectiveness of learning common latent features and source information loss in regression. In this paper, we propose transferable Recurrent Neural Network (RNN) units on the Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) to adapt source knowledge in multi-source regression scenarios. Specifically, two knowledge adaptation methods are proposed, the first one utilizes similarity weights as the transfer coefficients of each source, and the other defines a transfer-gate to control the flow of source knowledge. By using the proposed methods, useful source knowledge embedded in both internal state and output is adapted. Extensive experiments on both synthetic data and human motion prediction tasks on the Human 3.6M dataset demonstrate the superiority of our transfer RNN units compared with conventional models.
登录
查看更多内容
DOI：
10.1109/icccnt56998.2023.10306417
发表时间：
2022-02
期刊：
2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT)
影响因子：
--
作者：
Gilad Cohen;Raja Giryes
通讯作者：
Gilad Cohen;Raja Giryes
DOI：
--
发表时间：
2016-08
期刊：
--
影响因子：
--
作者：
Konstantinos Bousmalis;George Trigeorgis;N. Silberman;Dilip Krishnan;D. Erhan
通讯作者：
Konstantinos Bousmalis;George Trigeorgis;N. Silberman;Dilip Krishnan;D. Erhan
DOI：
10.1109/tnnls.2018.2868709
发表时间：
2019-05
影响因子：
10.4
作者：
Pengfei Wei;Yiping Ke;C. Goh
通讯作者：
Pengfei Wei;Yiping Ke;C. Goh
DOI：
10.7551/mitpress/7503.003.0173
发表时间：
2006-12
期刊：
--
影响因子：
--
作者：
Graham W. Taylor;Geoffrey E. Hinton;S. Roweis
通讯作者：
Graham W. Taylor;Geoffrey E. Hinton;S. Roweis
影响因子：
19.5
作者：
M. Yamada;L. Sigal;Yi Chang
通讯作者：
M. Yamada;L. Sigal;Yi Chang