VNE-TD: A virtual network embedding algorithm based on temporal-difference learning
VNE-TD: A virtual network embedding algorithm based on temporal-difference learning
复制标题
VNE-TD：一种基于时差学习的虚拟网络嵌入算法
DOI：
10.1016/j.comnet.2019.05.004
复制
发表时间：
2019-10
影响因子：
5.6
通讯作者：
Qilin Fan
中科院分区：
文献类型：
--
作者：
Sen Wang;Jun Bi;Jianping Wu;Athanasios V.Vasilakos;Qilin Fan
最近，网络虚拟化被认为是未来互联网的一个有前途的解决方案，它可以帮助克服当前互联网对根本性变化的阻力。在底层网络中嵌入虚拟网络是网络虚拟化中的主要资源分配问题。虚拟网络嵌入（VNE）问题的主要挑战在于在线嵌入决策与追求长期目标之间的矛盾。以前的大多数作品诉诸平衡SN的工作负载与各种方法来处理这一矛盾。而不是被动的平衡，我们试图通过主动学习和根据以前的经验在线决策来克服它。在这篇文章中，我们模型的VNE问题的马尔可夫决策过程（MDP），并开发了一个神经网络来近似值函数的VNE状态。在此基础上，提出了一种基于时间差分学习（一种强化学习方法）的VNE算法（VNE-TD）。在VNE-TD中，节点映射的多个嵌入候选者以概率方式生成，并且TD学习参与评估每个候选者的长期潜力。大量的仿真结果表明，VNE-TD优于以往的算法显着的块率和收入。
Recently, network virtualization is considered as a promising solution for the future Internet which can help to overcome the resistance of the current Internet to fundamental changes. The problem of embedding Virtual Networks (VN) in a Substrate Network (SN) is the main resource allocation challenge in network virtualization. The major challenge of the Virtual Network Embedding (VNE) problem lies in the contradiction between making online embedding decisions and pursuing a long-term objective. Most previous works resort to balancing the SN workload with various methods to deal with this contradiction. Rather than passive balancing, we try to overcome it by learning actively and making online decisions based on previous experiences. In this article, we model the VNE problem as Markov Decision Process (MDP) and develop a neural network to approximate the value function of VNE states. Further, a VNE algorithm based on Temporal-Difference Learning (one kind of Reinforcement Learning methods), named VNE-TD, is proposed. In VNE-TD, multiple embedding candidates of node-mapping are generated probabilistically, and TD Learning is involved to evaluate the long-run potential of each candidate. Extensive simulation results show that VNE-TD outperforms previous algorithms significantly in terms of both block ratio and revenue.
登录
查看更多内容
DOI：
10.1109/icc.2005.1494593
发表时间：
2005-05
期刊：
IEEE International Conference on Communications, 2005. ICC 2005. 2005
影响因子：
--
作者：
S. Bakiras
通讯作者：
S. Bakiras
DOI：
10.1109/cloud.2011.106
发表时间：
2011-07
期刊：
2011 IEEE 4th International Conference on Cloud Computing
影响因子：
--
作者：
H. Goudarzi;Massoud Pedram
通讯作者：
H. Goudarzi;Massoud Pedram
DOI：
10.1109/icc.2011.5963442
发表时间：
2011-06
期刊：
2011 IEEE International Conference on Communications (ICC)
影响因子：
--
作者：
Ilhem Fajjari;Nadjib Aitsaadi;G. Pujolle;H. Zimmermann
通讯作者：
Ilhem Fajjari;Nadjib Aitsaadi;G. Pujolle;H. Zimmermann
DOI：
10.1109/cnsm.2016.7818395
发表时间：
2016-10
期刊：
2016 12th International Conference on Network and Service Management (CNSM)
影响因子：
--
作者：
Andreas Blenk;Patrick Kalmbach;Patrick van der Smagt;W. Kellerer
通讯作者：
Andreas Blenk;Patrick Kalmbach;Patrick van der Smagt;W. Kellerer
影响因子：
2.8
作者：
Cheng, Xiang;Su, Sen;Wang, Jie
通讯作者：
Wang, Jie