Towards an Algebra for Distributed Deep Neural Networks

点击翻译按钮获取中文摘要

２０２２年度は、前年度の深層ニューラルネットワークの頑健性評価に関する研究を中心に、当初の研究期間を延長して研究を実施し、新たな敵対的サンプル生成手法を提案した。敵対的サンプルとは、深層ニューラルネットワークの頑健性評価に用いられるサンプルのことで、入力データに摂動を加えたサンプルのことである。摂動は、深層ニューラルネットワークの出力が変化する範囲で、できる限り小さいものを探索する。昨年度はこの探索部分に２次最適化の手法を取り入れることで、従来よりも高効率な生成を実現したが、最適化のステップサイズの調整が難しく、結果として摂動のノルム（大きさ）が大きくなってしまうという問題点があった。これに対して、本年度はステップ制限法と呼ばれる方法を提案し、安定的に小さな摂動を生成できることを実証した。具体的には、最適化の際に目的関数のテイラー近似をおこない、信頼区間を算出した上で、できる限り小さいステップ幅で、摂動を生成するアルゴリズムとなっている。評価実験はVoxCelebと呼ばれる話者照合タスクに関するデータセットで実施し、従来の方法よりもより小さい摂動で敵対的サンプルを生成できることを明らかとした。本成果は２０２３年度に国際会議論文として発表予定である。画像認識モデルとの統合については、最先端のモデルを利用して統合を検討したが、当初計画時よりもモデルサイズが増大し、計算量の関係で本研究で用いていた計算機では研究の実施が困難であった。そのため、この部分に関しては一旦保留として、上記の通り成果が期待できる部分に注力して研究を実施した。