Poster Abstract: Attentive Multimodal Learning on Sensor Data using Hyperdimensional Computing
Poster Abstract: Attentive Multimodal Learning on Sensor Data using Hyperdimensional Computing
复制标题
海报摘要：使用超维计算对传感器数据进行多模态学习
DOI：
10.1145/3583120.3589824
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Rosing, Tajana
中科院分区：
文献类型：
--
作者：
Zhao, Quanling;Yu, Xiaofan;Rosing, Tajana
随着无处不在的计算和各种传感器技术的不断进步，我们正在观察边缘的大量多模态传感器，这在融合数据方面提出了重大挑战。在这张海报中，我们提出了MultimodalHD，这是一种新的基于超维计算（HD）的设计，用于从边缘设备上的多模态数据中学习。我们使用HD将原始感官数据编码为高维低精度的超向量，然后将多模态超向量馈送到注意融合模块，通过模态间注意学习更丰富的表示。我们在多模态时间序列数据集上的实验表明MultimodalHD是非常高效的。与最先进的rnn相比，MultimodalHD在HAR和MHEALTH数据集上的每个epoch的训练时间加快了17倍和14倍，同时保持了相当的精度性能。
With the continuing advancement of ubiquitous computing and various sensor technologies, we are observing a massive population of multimodal sensors at the edge which posts significant challenges in fusing the data. In this poster we propose MultimodalHD, a novel Hyperdimensional Computing (HD)-based design for learning from multimodal data on edge devices. We use HD to encode raw sensory data to high-dimensional low-precision hypervectors, after which the multimodal hypervectors are fed to an attentive fusion module for learning richer representations via inter-modality attention. Our experiments on multimodal time-series datasets show MultimodalHD to be highly efficient. MultimodalHD achieves 17x and 14x speedup in training time per epoch on HAR and MHEALTH datasets when comparing with state-of-the-art RNNs, while maintaining comparable accuracy performance.
使用神经网络和超维计算进行驾驶风格分类的多元时间序列分析
DOI：
--
发表时间：
2021
期刊：
2021 IEEE Intelligent Vehicles Symposium (IV)
影响因子：
--
作者：
Kenny Schlegel;Florian Mirus;Peer Neubert;P. Protzel
通讯作者：
P. Protzel
DOI：
10.1145/3526241.3530331
发表时间：
2022-06
期刊：
Proceedings of the Great Lakes Symposium on VLSI 2022
影响因子：
--
作者：
Arpan Dutta;Saransh Gupta;Behnam Khaleghi;Rishikanth Chandrasekaran;Weihong Xu;Tajana Simunic
通讯作者：
Arpan Dutta;Saransh Gupta;Behnam Khaleghi;Rishikanth Chandrasekaran;Weihong Xu;Tajana Simunic