An unsupervised parameter learning model for RVFL neural network
An unsupervised parameter learning model for RVFL neural network
复制标题
RVFL神经网络的无监督参数学习模型
DOI：
10.1016/j.neunet.2019.01.007
复制
发表时间：
2019-04
期刊：
影响因子：
--
通讯作者：
Bo Du
中科院分区：
文献类型：
--
作者：
Yongshan Zhang;Jia Wu;Zhihua Cai;Philip S. Yu;Bo Du
随机向量函数链（RVFL）网络是一种简单有效的单隐层前馈神经网络（SLFNs）学习算法，具有直接的输入输出连接。RVFL是紧集上连续函数的通用逼近器，具有快速学习的特性。由于其简单和有效，RVFL在许多实际应用中引起了极大的兴趣。在现实中，RVFL的性能经常受到随机分配的网络参数的挑战。本文提出了一种新的RVFL无监督网络参数学习方法，称为稀疏预训练随机向量功能链接（SP-RVFL）网络。提出的SP-RVFL使用具有1范数正则化的稀疏自编码器自适应学习特定学习任务的优越网络参数。通过这种方法，SP-RVFL中学习到的网络参数嵌入了输入数据的有价值信息，从而缓解了随机生成参数的问题，提高了算法的性能。在来自不同领域的16个不同基准上的实验和比较证实了所提出的SP-RVFL的有效性。相应的结果也表明，RVFL优于极限学习机（ELM）。
With the direct input–output connections, a random vector functional link (RVFL) network is a simple and effective learning algorithm for single-hidden layer feedforward neural networks (SLFNs). RVFL is a universal approximator for continuous functions on compact sets with fast learning property. Owing to its simplicity and effectiveness, RVFL has attracted significant interest in numerous real-world applications. In reality, the performance of RVFL is often challenged by randomly assigned network parameters. In this paper, we propose a novel unsupervised network parameter learning method for RVFL, named sparse pre-trained random vector functional link (SP-RVFL for short) network. The proposed SP-RVFL uses a sparse autoencoder with ℓ 1-norm regularization to adaptively learn superior network parameters for specific learning tasks. By doing so, the learned network parameters in SP-RVFL are embedded with the valuable information of input data, which alleviate the randomly generated parameter issue and improve the algorithmic performance. Experiments and comparisons on 16 diverse benchmarks from different domains confirm the effectiveness of the proposed SP-RVFL. The corresponding results also demonstrate that RVFL outperforms extreme learning machine (ELM).
登录
查看更多内容
DOI：
10.1609/aaai.v31i1.9548
发表时间：
2015-01
期刊：
--
影响因子：
--
作者：
Hao Wang;Xingjian Shi;D. Yeung
通讯作者：
Hao Wang;Xingjian Shi;D. Yeung
影响因子：
11.8
作者：
Simone Scardapane;Dianhui Wang;A. Uncini
通讯作者：
Simone Scardapane;Dianhui Wang;A. Uncini
DOI：
10.1016/j.ins.2015.07.060
发表时间：
2016-10
期刊：
Inf. Sci.
影响因子：
--
作者：
Simone Scardapane;D. Comminiello;M. Scarpiniti;A. Uncini
通讯作者：
Simone Scardapane;D. Comminiello;M. Scarpiniti;A. Uncini
影响因子：
8.9
作者：
Ying Yang;Geoffrey I. Webb;J. Cerquides;K. Korb;Janice R. Boughton;K. Ting
通讯作者：
Ying Yang;Geoffrey I. Webb;J. Cerquides;K. Korb;Janice R. Boughton;K. Ting
DOI：
10.1016/0952-1976(94)00056-s
发表时间：
1995-02
影响因子：
8
作者：
H. T. Braake;G. V. Straten
通讯作者：
H. T. Braake;G. V. Straten