不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓

本研究では信頼できるAI技術の実現を目指し、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的としている。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、ベイズ深層学習では予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ベイズ深層学習の高速化・高効率化に取り組んでいる。当該年度では、高速なモーメントの計算を可能とする非線形関数と、大規模モデルにおいてモーメント伝播を可能とする方法論についての研究を行った。ReLUやSigmoidなどの従来の非線形関数の出力の統計量を計算するためには、テイラー展開を必要とするため計算量が増加してしまう。そこで本研究では、入力の統計量について非線形性を導入する、モーメント伝播に適した非線形関数を提案した。これにより、従来の非線形関数を用いた手法と比べ、最大で1.6倍高速な計算を可能としている。また、これまでは活性の分散が大きくなってしまうことから、モーメント伝播の適用が難しかった大規模なモデルに対して、確率変数に拡張したバッチ正規化層を導入することで、モーメント伝播による高速な推論を可能とした。様々な変分分布においてその有効性について検討し、従来のサンプリングによるベイズ深層学習と比べ、3.4-5.3倍高速な推論を可能とした。

本研究では信頼できるAI技術の実現を目指し、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的としている。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、ベイズ深層学習では予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ベイズ深層学習の高速化・高効率化に取り組んでいる。当該年度では、高速なモーメントの計算を可能とする非線形関数と、大規模モデルにおいてモーメント伝播を可能とする方法論についての研究を行った。ReLUやSigmoidなどの従来の非線形関数の出力の統計量を計算するためには、テイラー展開を必要とするため計算量が増加してしまう。そこで本研究では、入力の統計量について非線形性を導入する、モーメント伝播に適した非線形関数を提案した。これにより、従来の非線形関数を用いた手法と比べ、最大で1.6倍高速な計算を可能としている。また、これまでは活性の分散が大きくなってしまうことから、モーメント伝播の適用が難しかった大規模なモデルに対して、確率変数に拡張したバッチ正規化層を導入することで、モーメント伝播による高速な推論を可能とした。様々な変分分布においてその有効性について検討し、従来のサンプリングによるベイズ深層学習と比べ、3.4-5.3倍高速な推論を可能とした。