文書蓄積・検索等の非数値計算向け並列非同期入出力処理の高速化に関する研究

点击翻译按钮获取中文摘要

非数値計算処理は計算機、通信システム等の設計に用いられる離散シミュレーションや推論システム、また近年盛んになっているインターネット上の大量の文書の索引付けなど、幅広い応用範囲を持っている。このような計算処理は数値計算処理と同様に並列処理による高速化が期待される。数値計算分野では線形代数計算ライブラリの並列版であるScaLAPACK等に見られるように汎用パッケージが充実している一方、前述の非数値計算分野では、そのような汎用な機構がほとんど提供されていない。自動並列化コンパイラの進歩も著しいが、数値計算程一様ではない並列処理をうまく並列化することが出来ない。このような非定型処理は、低レベルライブラリへ直接アクセスすることによって実現可能である。RDMA転送機構は通信と計算の重畳等の最適化をサポートする基本的なプリミティブを備えている。OSとアプリケーションとの間では、こうしたライブラリを用いて通信と計算、資源の競合しないI/Oをうまく重畳させる機会を得る。ユーザで工夫の可能な入出力インタフェースとしては、このようなプリミティブの組み合わせによるライブラリが想定される。SMPノード内でハードウェアの投資(=占有するプロセッサ数)に見合う非定型並列処理を行うには、POSIXスレッドのような細粒度のライブラリが有効である(OpenMPは優れた並列処理の規格であるが、並列処理の制御に関してはやや抽象度が高い)。OSレベルではそれをサポートする高速な同期機構が必要であり(プロセッサレベルではTest&Set命令等)、上記RDMAライブラリ関数内でもスピン待ち合わせを用いたもの等が利用可能になっている。また、デバッガ内で命令レベルでの実行追跡が可能となっており、システムコールが呼ばれるタイミング等の解析に有用であった。今回対象としたSR8000ではPOSIXスレッドがサポートされていなかったが、次期システムではサポートされるようであり、今後このような利用形態が期待出来る。本研究で開発した基本RDMA通信パターンのサンプルコードおよびバッチシステム利用ツールを含む成果物について、公表の可否部分の判定を含めて情報基盤センターに照会中であり、結果を待ってWeb等で公開予定である。