クロスレイヤー最適化による新しい高速データ交換モデル

点击翻译按钮获取中文摘要

申請者は、Sparkに於ける通信時のキャッシュメカニズムのオーバヘッド低減について複数の検討を行ってきたが、その性能向上は十数パーセントであった。大規模なバッチ処理では、かなりの効果があると考えられるが、例えばDeep Learning処理系の代表例であるTensor Flow(GPU非使用時)に比べると数十分の一の性能しか得られなかった。この原因を解析する上で、2つの問題点に着想した。(1)RDDやその発展系であるDataFrame, Datasetは、耐故障性と相互運用性の実現から、処理オーバヘッドが高く、これ以上の劇的な性能向上は不可能であること。(2)複数サーバー間での高い通信レイテンシが、Sparkの処理単位であるタスクとスケジューラ通信で大きなコストとなっていることである。例えば、Sparkで分散Deep Learningを実現するためのプロジェクトとして、Project Hydrogenがある。Project Hydrogenの目指すゴールは、本研究が目指すゴールと同様である。しかしアプローチが全く異なる。一つは、本研究がSparkの基本的な特徴である耐故障性と、相互運用性を捨てるところから始まっていることである。つまりDL処理の大部分の実行時間を、数時間から十数時間と想定した場合の故障率と、耐故障性を実現するオーバヘッドを考慮した場合の耐故障性の実装は、性能低下に見合わないと判断したところが、全く異なる。さらに本研究ではProject Hydrogen が対象としていないクロスレイヤー間での通信スタックも最適化の対象としている。つまりDPDK,SPDKを用いて通信速度・レイテンシを最適化するとともに、Project HydrogenがGPUをスケジューリング対象にしたのと同様に、CPU Coreを動的スケジューリングの対象とするところに新規性を有する。