Distributed Q-Learning Aided Uplink Grant-Free NOMA for Massive Machine-Type Communications
Distributed Q-Learning Aided Uplink Grant-Free NOMA for Massive Machine-Type Communications
复制标题
用于大规模机器类型通信的分布式 Q-Learning 辅助上行链路无赠款 NOMA
DOI：
10.1109/jsac.2021.3078496
复制
发表时间：
2021-07
影响因子：
16.4
通讯作者：
Nei Kato
中科院分区：
文献类型：
--
作者：
Jiajia Liu;Zhenjiang Shi;Shangwei Zhang;Nei Kato
机器类型通信（MTC）设备的爆炸性增长对现有蜂窝网络提出了严峻的挑战。因此，如何在有限的资源下支持大规模的MTC设备是一个亟待解决的问题。突发业务是MTC设备的一个重要特性，这使得智能体很难学习有用的经验，并对模型收敛产生负面影响。然而，大多数现有的基于强化学习的文献假设设备具有饱和数据。为此，我们提出了两个分布式Q学习辅助上行链路免授权非正交多址接入（NOMA）方案（包括所有设备的分布式Q学习（ADDQ）方案和部分设备的分布式Q学习（PDDQ）方案），以最大限度地增加可接入设备的数量，其中大量的MTC设备的突发业务被仔细考虑。为了降低调度空间的维数和减轻突发业务的影响，分组的设备和传输资源的思想和间歇学习模式，我们的计划。大量的数值结果从多个角度证明了所提出的方案的优点。
The explosive growth of machine-type communications (MTC) devices poses critical challenges to the existing cellular networks. Therefore, how to support massive MTC devices with limited resources is an urgent problem to be solved. Bursty traffic is an important characteristic of MTC devices, which makes it difficult for agents to learn useful experience and has a negative impact on model convergence. However, most existing reinforcement learning-based literatures assume that devices have saturate data. Towards this end, we propose two distributed Q-learning aided uplink grant-free non-orthogonal multiple access (NOMA) schemes (including all-devices distributed Q-learning (ADDQ) scheme and portion-devices distributed Q-learning (PDDQ) scheme) to maximize the number of accessible devices, where the bursty traffic of massive MTC devices is carefully considered. In order to reduce the dimension of scheduling space and mitigate the impact of bursty traffic, the idea of grouping devices as well as transmission resources and the intermittent learning mode are adopted in our schemes. Extensive numerical results demonstrate the advantages of proposed schemes from multiple perspectives.
登录
查看更多内容
影响因子：
10.4
作者：
Naparstek, Oshri;Cohen, Kobi
通讯作者：
Cohen, Kobi
DOI：
10.1109/jsac.2019.2933962
发表时间：
2019-10-01
影响因子：
16.4
作者：
Liang, Le;Ye, Hao;Li, Geoffrey Ye
通讯作者：
Li, Geoffrey Ye
影响因子：
35.6
作者：
Shahab, Muhammad Basit;Abbas, Rana;Johnson, Sarah J.
通讯作者：
Johnson, Sarah J.
DOI：
10.1109/lcomm.2019.2896929
发表时间：
2019-02
期刊：
IEEE Communications Letters
影响因子：
--
作者：
S. Sharma;Xianbin Wang
通讯作者：
S. Sharma;Xianbin Wang
DOI：
--
发表时间：
2011-12
期刊：
--
影响因子：
--
作者：
M. G. Azar;R. Munos;M. Ghavamzadeh;H. Kappen
通讯作者：
M. G. Azar;R. Munos;M. Ghavamzadeh;H. Kappen