Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning

点击翻译按钮获取中文摘要

今年度は，課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」，課題２「深層学習への応用」，課題３「行列分解への応用」，課題５「計算機ネットワーク上での性能評価実験」においていくつかの成果が得られた．一つめは，格子状に配置された多数のエージェントが非負値行列因子分解を行うための分散アルゴリズムの大域収束性を証明したことである．詳細に言えば，分散アルゴリズム中で実行される平均合意アルゴリズムの反復回数が十分に大きいという条件の下で，分散アルゴリズムによって得られる解の列が停留点に収束することを証明した．これは課題３の主要な成果であるとともに，課題１の理論基盤構築に向けた重要なステップである．二つめは，昨年度に開発した，多数のニューラルネットワークが合意形成を行うための分散的全域木生成法とパラメータ値送受信法について，新たな実装を行って合意形成までの処理時間を大幅に短縮したことである．また，この合意形成手法に基づく連合学習アルゴリズムを実装し，同一LAN内の4台の計算機による実証実験と遠隔2拠点にある2台の計算機による実証実験を行い，いずれも正しく動作することを確認した．これは課題２と課題５にまたがる重要な成果である．三つめはlassoにおける交互方向乗数法を分散的に実行するためのアルゴリズムを開発し，1台の計算機上でシミュレーションを行って妥当性を確認したことである．これは合意に基づく分散最適化の考え方が多様なアルゴリズムに適用できることを示す成果である．