A Two-Hops State-Aware Routing Strategy Based on Deep Reinforcement Learning for LEO Satellite Networks
A Two-Hops State-Aware Routing Strategy Based on Deep Reinforcement Learning for LEO Satellite Networks
复制标题
LEO卫星网络基于深度强化学习的两跳状态感知路由策略
DOI：
10.3390/electronics8090920
复制
发表时间：
2019-08
期刊：
影响因子：
2.9
通讯作者：
Wang Weidong
中科院分区：
文献类型：
--
作者：
Wang Cheng;Wang Huiwen;Wang Weidong
低地球轨道（LEO）卫星网络可以为物联网提供完整的连接和全球数据传输能力。然而，任意的流量到达和区域间不均匀的业务负载会导致LEO星座上的业务分布不均衡。因此，LEO网络中的路由策略应该具有根据网络状态的变化自适应地调整路由路径的能力。在本文中，我们提出了一种基于深度强化学习的两跳状态感知路由策略（DRL-THSA），用于LEO卫星网络。在该策略中，每个节点只需要获得两跳邻居范围内的链路状态，就可以输出最优的下一跳节点。将链路状态分为三个层次，并针对每一层次提出了相应的流量转发策略，使DRL-THSA能够科普链路中断或拥塞。在DRL-THSA中提出了双深度Q网络（DDQN），通过输入两跳链路状态来计算可选的下一跳。从模型建立、训练过程和运行过程三个方面对DDQN进行了分析。DRL-THSA的有效性，在端到端的延迟，吞吐量和丢包率，通过一组使用网络模拟器3（NS 3）的模拟验证。
Low Earth Orbit (LEO) satellite networks can provide complete connectivity and worldwide data transmission capability for the internet of things. However, arbitrary flow arrival and uneven traffic load among areas bring about unbalanced traffic distribution over the LEO constellation. Therefore, the routing strategy in LEO networks should have the ability to adjust routing paths based on changes in network status adaptively. In this paper, we propose a Two-Hops State-Aware Routing Strategy Based on Deep Reinforcement Learning (DRL-THSA) for LEO satellite networks. In this strategy, each node only needs to obtain the link state within the range of two-hop neighbors, and the optimal next-hop node can be output. The link state is divided into three levels, and the traffic forwarding strategy for each level is proposed, which allows DRL-THSA to cope with link outage or congestion. The Double-Deep Q Network (DDQN) is proposed in DRL-THSA to figure out the optional next hop by inputting the two-hops link states. The DDQN is analyzed from three aspects: model setting, training process and running process. The effectiveness of DRL-THSA, in terms of end-to-end delay, throughput, and packet drop rate, is verified via a set of simulations using the Network Simulator 3 (NS3).
登录
查看更多内容
两层卫星网络中基于网络编码的多路径路由算法
DOI：
10.1049/iet-com.2017.0325
发表时间：
2018-01
期刊：
IET Communications, 2017
影响因子：
--
作者：
Wenchao Xu;Meng Jiang;Feilong Tang;Yanqin Yang
通讯作者：
Yanqin Yang
DOI：
10.1109/12.660168
发表时间：
1998-03
期刊：
IEEE Trans. Computers
影响因子：
--
作者：
Jie Li;H. Kameda
通讯作者：
Jie Li;H. Kameda
DOI：
10.1109/tnnls.2018.2806087
发表时间：
2018-03
影响因子：
10.4
作者：
Jie Pan;X. Wang;Yuhu Cheng;Qiang Yu
通讯作者：
Jie Pan;X. Wang;Yuhu Cheng;Qiang Yu
LEO 卫星网络的多路径协作路由和高效确认
影响因子：
7.9
作者：
Tang, Feilong;Zhang, Heteng;Yang, Laurence T.
通讯作者：
Yang, Laurence T.
基于人工神经网络的强化学习方法的多能源路由中心能源互联网最优能源路由设计
影响因子：
2.7
作者：
Wang Dan Lu;Sun Qiu Ye;Li Yu Yang;Liu Xin Rui
通讯作者：
Liu Xin Rui