ScaleHD: Robust Brain-Inspired Hyperdimensional Computing via Adapative Scaling
ScaleHD: Robust Brain-Inspired Hyperdimensional Computing via Adapative Scaling
复制标题
ScaleHD：通过自适应缩放实现鲁棒的类脑超维计算
DOI：
10.1145/3508352.3549376
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Jiao, Xun
中科院分区：
文献类型：
--
作者：
Zhang, Sizhe;Imani, Mohsen;Jiao, Xun
大脑启发的多维计算（HDC）在各种认知任务中表现出了很好的能力，如机器人，生物医学信号分析和自然语言处理。与深度神经网络相比，HDC模型显示出诸如轻量级模型和一次/几次学习能力等优势，使其成为传统资源需求型深度学习模型的有前途的替代范例，特别是在资源有限的边缘设备中。尽管HDC越来越受欢迎，但HDC模型的鲁棒性和增强HDC鲁棒性的方法尚未得到系统的分析和充分的研究。HDC依赖于被称为超向量（HV）的高维数值向量来执行认知任务，并且HV内部的值对于HDC模型的鲁棒性至关重要。我们提出了ScaleHD，一个自适应缩放方法，缩放HDC模型的联想记忆中的HV值，以增强HDC模型的鲁棒性。我们提出了三种不同的ScaleHD模式，包括全局ScaleHD，类ScaleHD和（类+剪辑）ScaleHD，它们基于不同的自适应缩放策略。实验结果表明，ScaleHD能够提高HDC对高达10,000倍的内存错误的鲁棒性，并通过电压缩放方法实现了节能.实验结果表明，ScaleHD在保证精度损失小于1%的前提下，可使HDC存储系统的能耗降低72.2%.
Brain-inspired hyperdimensional computing (HDC) has demonstrated promising capability in various cognition tasks such as robotics, bio-medical signal analysis, and natural language processing. Compared to deep neural networks, HDC models show advantages such as light-weight model and one/few-shot learning capabilities, making it a promising alternative paradigm to traditional resource-demanding deep learning models particularly in edge devices with limited resources. Despite the growing popularity of HDC, the robustness of HDC models and the approaches to enhance HDC robustness has not been systematically analyzed and sufficiently examined. HDC relies on high-dimensional numerical vectors referred to as hypervectors (HV) to perform cognition tasks and the values inside the HVs are critical to the robustness of an HDC model. We proposeScaleHD, an adaptive scaling method that scales the value of HVs in the associative memory of an HDC model to enhance the robustness of HDC models. We propose three different modes ofScaleHDincludingGlobal-ScaleHD,Class-ScaleHD, and(Class + Clip)-ScaleHDwhich are based on different adaptive scaling strategies. Results show thatScaleHDis able to enhance HDC robustness against memory errors up to 10,000X.Moreover, we leverage the enhanced HDC robustness in exchange for energy saving via voltage scaling method. Experimental results show thatScaleHDcan reduce energy consumption on HDC memory system up to 72.2% with less than 1% accuracy loss.
登录
查看更多内容
DOI：
--
发表时间：
2019
期刊：
2019 International Symposium on Multimedia and Communication Technology (ISMAC)
影响因子：
--
作者：
Alec Xavier Manabat;Celine Rose Marcelo;Alfonso Louis Quinquito;A. Alvarez
通讯作者：
A. Alvarez
在微功耗机器学习应用中推动片上存储器超越可靠性界限
DOI：
--
发表时间：
2019
期刊：
International Electron Devices Meeting
影响因子：
--
作者：
Alfio Di Mauro;Francesco Conti;Pasquale Davide Schiavone;D. Rossi;L. Benini
通讯作者：
L. Benini
影响因子：
25
作者：
Mitrokhin, A.;Sutor, P.;Aloimonos, Y.
通讯作者：
Aloimonos, Y.
DOI：
10.23919/date54114.2022.9774697
发表时间：
2022
期刊：
Automation & Test in Europe Conference & Exhibition (DATE
影响因子：
--
作者：
Zhang, Sizhe;Wang, Ruixuan;Ma, Dongning;Zhang, Jeff Jun;Yin, Xunzhao;Jiao, Xun
通讯作者：
Jiao, Xun
TensorFI：适用于 TensorFlow 应用程序的可配置故障注入器
DOI：
--
发表时间：
2018
期刊：
2018 IEEE International Symposium on Software Reliability Engineering Workshops (ISSREW)
影响因子：
--
作者：
Guanpeng Li;K. Pattabiraman;Nathan Debardeleben
通讯作者：
Nathan Debardeleben