スケーラブルかつディペンダブルな大規模P2Pグリッドコンピューティングの研究

可扩展、可靠的大规模P2P网格计算研究

• 批准号: 05J07324
• 负责人: 中島 佳宏
• 金额: $ 1.73万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05J07324/
• 关键词: グリッドコンピューティング; スケジューラ; データインテンシブ; 並列プログラミングモデル; プログラミングミドルウエア; 分散ストレージ; OmniRPC; peer-to-peer; プログラミングミドルウェア; 遠隔手続き呼び出し

本研究の目的は,ネットワークに接続された数万台のPCの計算資源を有効利用し,簡便にスケーラブルな高性能計算を可能にする汎用的なフレームワークを構築することである.昨年度の大容量コンピューティングのための並列プログラミングモデルについて検討を基に,このプログラミングモデルを実現するキーコンポーネントの一つで,かつペタバイトスケールのwebデータ解析・物理実験から得られた観測データの解析などのプログラミングモデルの対象であるデータインテンシブなアプリケーションの効率的な実行を支援するシステムの設計・開発をおこなった.データインテンシブなアプリケーションの効率的な実行を支援しスケーラブルな1/0性能を実現するため,分散並列ファイルシステムとジョブスケジューリングシステムが強固に連携しデータアフィニティを最大限に活用するシステムを設計し,提案をおこなった.ジョブ実行要求をジョブスケジューラがデータの依存性を解析し,また,ファイルシステムノードのモニタリングを行い,データレプリケーションのレプリカ数やデータ配置やプロセスのノードへの割り当の最適化を行う.グリッド上で動作するアプリケーションで必要とされるプロセス同士で自由にデータ通信を可能にさせるデータ管理レイヤの開発を行った.アプリケーションで求められるデータ通信パターンを利用し,複数のデータ転送手法の中から最適な手法をシステムが自動的に選択し,効率的なデータ転送を実現する.データ転送パターンのベンチマークを作成し,それを用いて最適なデータ通信手法を明らかにし,効率的なデータ転送を実現することが可能になった.

The purpose of this study is to make use of the computing resources of tens of thousands of PCs in order to simplify the construction of universal supercomputers. Last year's large-capacity computer program was launched on the basis of a series of parallel computer programs, which were launched on the basis of a series of computer programs. Web data analysis, physical implementation, measurement, analysis, selection, target implementation, support, design, development, and efficiency of the system. The performance of the system is supported by 1/0 performance, distributed and parallel, and the system is designed to strengthen the connection and maximize the use of the system. The paper analyzes the existence of the data in the process of the implementation of the requirements of the paper, and then optimizes the optimization of the cutting time of the data distribution system. For example, if you want to open a website, you can open a website. In order to obtain the optimal method for automatic selection of data transmission, the optimal method for multiple data transmission methods is used to realize data transmission at high efficiency. The best way to communicate is to make sure that you have the right information.

项目成果

複数グリッドジョブ実行システムの計算資源を統合・利用するGrid RPCシステムの設計と実装

集成和利用多个网格作业执行系统计算资源的网格RPC系统的设计与实现

• 发表时间: 2006
• 期刊: 情報処理学会論文誌:コンピューティングシステム(ACS14) Vol.47.SIG12 ACS14(印刷中)
• 作者: 佐藤三久;中島佳宏他
• 通讯作者: 中島佳宏他

Grid environment for computational astrophysics driven by GRAPE-6 with HMCS-G and OmniRPC

• DOI: 10.1109/ipdps.2005.236
• 发表时间: 2005-04
• 期刊: 19th IEEE International Parallel and Distributed Processing Symposium
• 作者: T. Boku;K. Onuma;M. Sato;Yoshihiro Nakajima;D. Takahashi

Grid RPC における広域データ管理レイヤの利用

利用 Grid RPC 中的广域数据管理层

• 发表时间: 2007
• 期刊: 情報処理学会論文誌:トランザクション コンピューティングシステム Vol.48 No.SIG13
• 作者: 相田;中島;佐藤;建部;櫻井
• 通讯作者: 櫻井

Performance Improvement by Data Management Layer in Grid RPC System

网格RPC系统中数据管理层的性能改进

• 期刊: Proceeding of First International Conference on Grid an Pervasive Computing (掲載予定)
• 作者: T. Takahashi;他4名;Yoshihiro Nakajima;上村 佳史;相田 祥昭;Yoshihiro Nakajima;中島 佳宏;Mitsuhisa Sato;Taisuke Boku;中島佳宏;Yoshihiro Nakajima;Yoshiaki Aida
• 通讯作者: Yoshiaki Aida

OmniRPC Grid Parallel Programming Environment for a Large Scale Numerical Computation

用于大规模数值计算的 OmniRPC 网格并行编程环境

• 发表时间: 2005
• 期刊: Prof. of 17th IMACS World Congress Scientific Computation, Applied Mathematics and Simulation (in CD-ROM)
• 作者: Mitsuhisa Sato;Yoshihiro Nakajima;Tesuya Sakurai;Taisuke Boku and Daisuke Takahashi
• 通讯作者: Taisuke Boku and Daisuke Takahashi