Towards an Algebra for Distributed Deep Neural Networks

分布式深度神经网络的代数

• 批准号: 19K22865
• 负责人: 井上 中順
• 金额: $ 4.16万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-06-28 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K22865/
• 关键词: 深層学習; メタ学習; 画像認識; 分散学習; 代数学

２０２２年度は、前年度の深層ニューラルネットワークの頑健性評価に関する研究を中心に、当初の研究期間を延長して研究を実施し、新たな敵対的サンプル生成手法を提案した。敵対的サンプルとは、深層ニューラルネットワークの頑健性評価に用いられるサンプルのことで、入力データに摂動を加えたサンプルのことである。摂動は、深層ニューラルネットワークの出力が変化する範囲で、できる限り小さいものを探索する。昨年度はこの探索部分に２次最適化の手法を取り入れることで、従来よりも高効率な生成を実現したが、最適化のステップサイズの調整が難しく、結果として摂動のノルム（大きさ）が大きくなってしまうという問題点があった。これに対して、本年度はステップ制限法と呼ばれる方法を提案し、安定的に小さな摂動を生成できることを実証した。具体的には、最適化の際に目的関数のテイラー近似をおこない、信頼区間を算出した上で、できる限り小さいステップ幅で、摂動を生成するアルゴリズムとなっている。評価実験はVoxCelebと呼ばれる話者照合タスクに関するデータセットで実施し、従来の方法よりもより小さい摂動で敵対的サンプルを生成できることを明らかとした。本成果は２０２３年度に国際会議論文として発表予定である。画像認識モデルとの統合については、最先端のモデルを利用して統合を検討したが、当初計画時よりもモデルサイズが増大し、計算量の関係で本研究で用いていた計算機では研究の実施が困難であった。そのため、この部分に関しては一旦保留として、上記の通り成果が期待できる部分に注力して研究を実施した。

Before 2022 annual は, annual の deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク の operations, sexual review 価 に masato す に を る research center, at the beginning の study period extended を し て research を be し, new た な enemy of seaborne サ ン プ ル を proposal し formed た. Enemy of seaborne サ ン プ ル と は, deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク の operations, sexual review 価 に with い ら れ る サ ン プ ル の こ と で, into the force デ ー タ に, dynamic を plus え た サ ン プ ル の こ と で あ る. , dynamic は, deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク の output が variations change す る van 囲 で, で き る limit り small さ い も の を explore す る. Yesterday annual は こ の explore some に twice optimization の gimmick を take り れ る こ と で, 従 よ り も high working rate な generated を be presently し た が, optimization の ス テ ッ プ サ イ ズ の adjustment が difficult し く, results と し て, dynamic の ノ ル ム (large き さ) が big き く な っ て し ま う と い う problem point が あ っ た. こ れ に し seaborne て, this year's は ス テ ッ プ と system limit method called ば れ を proposal し る method, stable に small さ な, dynamic を generated で き る こ と を card be し た. Specific に は, optimization the event の に purpose masato の テ イ ラ ー approximate を お こ な い, letter 頼 interval を calculate し た で, で き る limit り small さ い ス テ ッ プ で, picture, dynamic を generated す る ア ル ゴ リ ズ ム と な っ て い る. Review 価 be 験 は VoxCeleb と shout ば れ る according to close the speaker's words タ ス ク に masato す る デ ー タ セ ッ ト で be し, 従 to の way よ り も よ り small さ い, dynamic で enemy of seaborne サ ン プ ル を generated で き る こ と を Ming ら か と し た. This achievement has been approved for publication as a paper at the に international conference in 2023: と である て て. Portrait know モ デ ル と の integration に つ い て は, most apex の モ デ ル を using し て integration を beg し 検 た が, when project よ り も モ デ ル サ イ ズ が rights し, computation の masato is で で this study use い て い た computer で は research の be applied が difficult で あ っ た. そ の た め, こ の part に masato し て は once reserved と し て, written の tong り results が expect で き る part に note force し て research を be applied し た.

项目成果

Quasi-Newton Adversarial Attacks on Speaker Verification Systems

• 发表时间: 2020-12
• 期刊: 2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
• 作者: Keita Goto;Nakamasa Inoue