Sensor-based Human Activity Recognition Using Graph LSTM and Multi-task Classification Model
Sensor-based Human Activity Recognition Using Graph LSTM and Multi-task Classification Model
复制标题
使用图 LSTM 和多任务分类模型进行基于传感器的人体活动识别
DOI：
10.1145/3561387
复制
发表时间：
2022-09
期刊：
影响因子：
--
通讯作者：
郭翔
中科院分区：
文献类型：
--
作者：
曹杰;王有权;陶海成;郭翔
本文探讨了基于传感器的多维数据流中的人体活动识别。最近，基于深度学习的方法，如LSTM和CNN，在实际应用场景中取得了重要进展。然而，在大多数以前的基于深度学习的方法中，存在潜在的挑战，例如类不平衡和时间和传感器信号的多模态异构性。为了解决这些问题，我们提出了一个图LSTM和度量学习模型（GLML），通过对传感器方面信号和图方面活动进行建模，实现了多结构图融合。GLML是一种半监督的协同训练架构，可以看作是对未标记数据进行多个伪标记的迭代采样处理。具体来说，我们构建了三个图来捕捉每个时间戳中的不同关系。同时，提出了图的注意力模型和注意力机制，以集成不同传感器信号的多个图交互。此外，为了获得隐藏状态单元及其相邻节点的固定表示，我们引入了Graph LSTM来从图结构的构造图中学习图-方面关系。值得注意的是，我们提出了一种多任务分类模型，将分类分布的损失函数与深度度量学习相结合，以增强多模态传感器数据的表示能力。在三个公开数据集上的实验结果表明，我们提出的GLML模型与最先进的方法相比平均提高了至少2.44%。
This paper explores human activities recognition from sensor-based multi-dimensional streams. Recently, deep learning-based methods such as LSTM and CNN have achieved important progress in practical application scenarios. However, in most previous deep learning-based methods exist potential challenges such as class imbalance and multi-modal heterogeneity with time and sensor signals. To handle those problems, we propose a graph LSTM and Metric Learning model (GLML) with multiple construction graph fusion by modeling the sensor-aspect signals and the graph-aspect activities. GLML is a semi-supervised co-training architecture, which can be seen as several iteratively pseudo-labels sampling processing in the unlabeled data. Specifically, we construct three graphs to capture the different relations in each timestamp. Meanwhile, the graph attention model and attention mechanism are proposed to integrate multiple graph interactions for different sensor signals. Furthermore, to obtain a fixed representation of hidden state units and their neighboring nodes, we introduce the Graph LSTM to learn the graph-aspect relations from graph-structured constructed graphs. Notably, we propose a multi-task classification model combining loss function for classification distribution with deep metric learning to enhance the representation ability of the multi-modal sensor data. Experimental results on three public datasets demonstrate that our proposed GLML model has at least 2.44% improved in average against the state-of-the-art methods.
登录
查看更多内容
DOI：
--
发表时间：
2020
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Fan Ma;Deyu Meng;Xuanyi Dong;Yi Yang;S. Kaski
通讯作者：
Fan Ma;Deyu Meng;Xuanyi Dong;Yi Yang;S. Kaski
影响因子：
1.9
作者：
通讯作者：
--
DOI：
10.1016/j.artint.2020.103429
发表时间：
2021-03
期刊：
Artif. Intell.
影响因子：
--
作者：
Hangwei Qian;Sinno Jialin Pan;C. Miao
通讯作者：
Hangwei Qian;Sinno Jialin Pan;C. Miao
影响因子：
5.1
作者：
Chavarriaga, Ricardo;Sagha, Hesam;Roggen, Daniel
通讯作者：
Roggen, Daniel
影响因子：
4.8
作者：
Kautz, Thomas;Groh, Benjamin H.;Eskofier, Bjoern M.
通讯作者：
Eskofier, Bjoern M.