权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓

开发面向硬件、考虑不确定性的贝叶斯深度学习技术

基本信息

批准号：
22KJ0553
负责人：
平山侑樹
金额：
$ 1.41万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では信頼できるAI技術の実現を目指し、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的としている。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、ベイズ深層学習では予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ベイズ深層学習の高速化・高効率化に取り組んでいる。当該年度では、高速なモーメントの計算を可能とする非線形関数と、大規模モデルにおいてモーメント伝播を可能とする方法論についての研究を行った。ReLUやSigmoidなどの従来の非線形関数の出力の統計量を計算するためには、テイラー展開を必要とするため計算量が増加してしまう。そこで本研究では、入力の統計量について非線形性を導入する、モーメント伝播に適した非線形関数を提案した。これにより、従来の非線形関数を用いた手法と比べ、最大で1.6倍高速な計算を可能としている。また、これまでは活性の分散が大きくなってしまうことから、モーメント伝播の適用が難しかった大規模なモデルに対して、確率変数に拡張したバッチ正規化層を導入することで、モーメント伝播による高速な推論を可能とした。様々な変分分布においてその有効性について検討し、従来のサンプリングによるベイズ深層学習と比べ、3.4-5.3倍高速な推論を可能とした。

This study aims to improve the efficiency of AI technology and its realization. In-depth learning takes into account the possibility of prediction, medical diagnosis, automatic operation, safety, and expectation. Deep learning is necessary for prediction, accuracy distribution, and computation. In this study, we focus on the optimization of deep learning and its efficiency. During the year, research was conducted on the methodology of non-linear correlation, large-scale correlation, and high-speed correlation calculation. The calculation of the statistics of the output of the non-linear relationship between the ReLU and Sigmoid is increasing. In this study, we propose a statistical approach to non-linear relationships. The maximum speed of calculation is 1.6 times higher than that of the maximum speed of calculation. However, since the dispersion of activity is large, the application of mobile broadcast is difficult, and large-scale mobile devices are handled, the introduction of a tension-based normalization layer to determine the number of changes makes it possible to make high-speed inferences about mobile broadcast. Deep learning is possible at 3.4-5.3 times higher speed than inference.