スケーラブルかつディペンダブルな大規模P2Pグリッドコンピューティングの研究

点击翻译按钮获取中文摘要

本研究の目的は,ネットワークに接続された数万台のPCの計算資源を有効利用し,簡便にスケーラブルな高性能計算を可能にする汎用的なフレームワークを構築することである.昨年度の大容量コンピューティングのための並列プログラミングモデルについて検討を基に,このプログラミングモデルを実現するキーコンポーネントの一つで,かつペタバイトスケールのwebデータ解析・物理実験から得られた観測データの解析などのプログラミングモデルの対象であるデータインテンシブなアプリケーションの効率的な実行を支援するシステムの設計・開発をおこなった.データインテンシブなアプリケーションの効率的な実行を支援しスケーラブルな1/0性能を実現するため,分散並列ファイルシステムとジョブスケジューリングシステムが強固に連携しデータアフィニティを最大限に活用するシステムを設計し,提案をおこなった.ジョブ実行要求をジョブスケジューラがデータの依存性を解析し,また,ファイルシステムノードのモニタリングを行い,データレプリケーションのレプリカ数やデータ配置やプロセスのノードへの割り当の最適化を行う.グリッド上で動作するアプリケーションで必要とされるプロセス同士で自由にデータ通信を可能にさせるデータ管理レイヤの開発を行った.アプリケーションで求められるデータ通信パターンを利用し,複数のデータ転送手法の中から最適な手法をシステムが自動的に選択し,効率的なデータ転送を実現する.データ転送パターンのベンチマークを作成し,それを用いて最適なデータ通信手法を明らかにし,効率的なデータ転送を実現することが可能になった.