权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning

基于共识的低计算成本分布式优化算法及其在机器学习中的应用

基本信息

批准号：
21H03510
负责人：
高橋規一
金额：
$ 8.65万
依托单位：
Okayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

今年度は，課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」，課題２「深層学習への応用」，課題３「行列分解への応用」，課題５「計算機ネットワーク上での性能評価実験」においていくつかの成果が得られた．一つめは，格子状に配置された多数のエージェントが非負値行列因子分解を行うための分散アルゴリズムの大域収束性を証明したことである．詳細に言えば，分散アルゴリズム中で実行される平均合意アルゴリズムの反復回数が十分に大きいという条件の下で，分散アルゴリズムによって得られる解の列が停留点に収束することを証明した．これは課題３の主要な成果であるとともに，課題１の理論基盤構築に向けた重要なステップである．二つめは，昨年度に開発した，多数のニューラルネットワークが合意形成を行うための分散的全域木生成法とパラメータ値送受信法について，新たな実装を行って合意形成までの処理時間を大幅に短縮したことである．また，この合意形成手法に基づく連合学習アルゴリズムを実装し，同一LAN内の4台の計算機による実証実験と遠隔2拠点にある2台の計算機による実証実験を行い，いずれも正しく動作することを確認した．これは課題２と課題５にまたがる重要な成果である．三つめはlassoにおける交互方向乗数法を分散的に実行するためのアルゴリズムを開発し，1台の計算機上でシミュレーションを行って妥当性を確認したことである．これは合意に基づく分散最適化の考え方が多様なアルゴリズムに適用できることを示す成果である．

This year, we will focus on the following topics: topic 1,"how to set up the coordinate descent method," topic 2,"how to use the deep learning method," topic 3,"how to use the column decomposition method," and topic 5,"how to evaluate the performance of the computer system." A lattice configuration is used to prove the large domain convergence of most of the non-negative rank factorization. In detail, the average number of iterations of the decentralized cluster is very large under the condition that the decentralized cluster is distributed in the cluster, and the solution is obtained in the cluster. The main results of the project 3 are as follows: Second, in the past year, most of the time for the formation of consensus has been greatly shortened. This method is based on the idea that 4 computers on the same LAN are running at 2 points apart and that the system is operating correctly. This is the first time that we've had a chance to do this. 3. To confirm the correctness of the interactive directional algorithm for decentralized operation, the system was developed on one computer. This is the ideal basis for decentralized optimization.