クロスレイヤー最適化による新しい高速データ交換モデル

跨层优化的新型高速数据交换模型

• 批准号: 22K12048
• 负责人: 松尾 啓志
• 金额: $ 2.66万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12048/
• 关键词: DPDK; プロトコルスタック; L2通信; プロキシ; データ交換モデル; RPC; クロスレイヤー最適化

申請者は、Sparkに於ける通信時のキャッシュメカニズムのオーバヘッド低減について複数の検討を行ってきたが、その性能向上は十数パーセントであった。大規模なバッチ処理では、かなりの効果があると考えられるが、例えばDeep Learning処理系の代表例であるTensor Flow(GPU非使用時)に比べると数十分の一の性能しか得られなかった。この原因を解析する上で、2つの問題点に着想した。(1)RDDやその発展系であるDataFrame, Datasetは、耐故障性と相互運用性の実現から、処理オーバヘッドが高く、これ以上の劇的な性能向上は不可能であること。(2)複数サーバー間での高い通信レイテンシが、Sparkの処理単位であるタスクとスケジューラ通信で大きなコストとなっていることである。例えば、Sparkで分散Deep Learningを実現するためのプロジェクトとして、Project Hydrogenがある。Project Hydrogenの目指すゴールは、本研究が目指すゴールと同様である。しかしアプローチが全く異なる。一つは、本研究がSparkの基本的な特徴である耐故障性と、相互運用性を捨てるところから始まっていることである。つまりDL処理の大部分の実行時間を、数時間から十数時間と想定した場合の故障率と、耐故障性を実現するオーバヘッドを考慮した場合の耐故障性の実装は、性能低下に見合わないと判断したところが、全く異なる。さらに本研究ではProject Hydrogen が対象としていないクロスレイヤー間での通信スタックも最適化の対象としている。つまりDPDK,SPDKを用いて通信速度・レイテンシを最適化するとともに、Project HydrogenがGPUをスケジューリング対象にしたのと同様に、CPU Coreを動的スケジューリングの対象とするところに新規性を有する。

The applicant shall, in the case of Spark, send a message to the Secretary of State for the purpose of reviewing the performance of the Secretary of State. Large-scale Tensor Flow(GPU not in use) is a typical example of Deep Learning processing system, which has a performance ten times higher than that of GPU. The reason for this is analyzed on the above, and the problem points are considered. (1)RDD development system, DataFrame, Dataset, fault tolerance, interoperability, implementation, processing, high performance, high performance, and high performance. (2)The high level communication between multiple servers, the processing unit of Spark, the high level communication between multiple servers, and the high level communication between multiple servers. For example, Spark can be used to distribute Deep Learning. Project Hydrogen's goal is to achieve the same goal as this study. The whole thing is different. This paper discusses the basic characteristics of Spark: fault tolerance, interoperability. Although most of the actual execution time of DL processing is from a few hours to a dozen hours, the failure rate and failure resistance in hypothetical situations are completely different when considering the implementation of failure resistance in situations such as low performance and poor judgment. In this study, we aim to optimize the communication between Project Hydrogen and its target. DPDK,SPDK are used to optimize communication speed, speed, and image. Project Hydrogen is used to optimize GPU speed and image.

项目成果

DPDKのRun-to-Completionモデルを用いたL2分散計算環境の提案

使用DPDK的Run-to-Completion模型的L2分布式计算环境的提案

• 发表时间: 2022
• 期刊: 研究報告システムソフトウェアとオペレーティング・システム（OS）
• 作者: Wu Chia-Yi;Ban Tao;Cheng Shin-Ming;Takahashi Takeshi;Inoue Daisuke;Tao Ban;渡邉 隆，川島 龍太，松尾 啓志;山本 竜也，川島 龍太，松尾 啓志
• 通讯作者: 山本 竜也，川島 龍太，松尾 啓志

分散DBにおけるプロキシを用いたトランザクションの高速化

在分布式数据库中使用代理加速事务

• 发表时间: 2023
• 期刊: 研究報告システムソフトウェアとオペレーティング・システム（OS）
• 作者: Wu Chia-Yi;Ban Tao;Cheng Shin-Ming;Takahashi Takeshi;Inoue Daisuke;Tao Ban;渡邉 隆，川島 龍太，松尾 啓志
• 通讯作者: 渡邉 隆，川島 龍太，松尾 啓志