データマイニングによる高度自己管理機構を有す次世代ストレージアーキテクチャの確立

利用数据挖掘建立具有先进自我管理机制的下一代存储架构

• 批准号: 13852015
• 负责人: 喜連川 優
• 金额: $ 37.02万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (S)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13852015/
• 关键词: データマイニング処理; ストレージシステム; アーキテクチャ; ディスククラスタ; オンライン再構成; ディスクアレイ; 信頼性; 連続メディア

本研究では、高度な自己管理機構を有する記憶システムのアーキテクチャを確立するとともに、年限内に実装を行いその有効性を明らかにすることを目的とする。従来、ストーレッジ空間はサーバ側のファイルシステム配下にあるため、ファイルシステムの改良により、問題解決が試みられて来ていたが、本研究では、サーバ側ではなく、ストーレッジ側にストーレッジ管理機能を実現することを試みる。昨年度は、ストーレッジ側で行う管理として、ディスクで構成するクラスタにおいて、ディスクの追加や故障の際のクラスタ再構成を行う手法、そのようなディスククラスタを用いて並列Webサーバーを構成する方法、およびディスクアレイ構成を前提とした連続メディアデータに対するディスクリトライアルゴリズムに関して研究を行った。本年度は、SAN (Storage Area Network)技術をPCクラスタに導入し、大規模データベース処理に適したストレージ仮想化機構を用いた共有ディスクアクセス方式について検討を行い、プロトタイプシステム上にて基本的な実装を行った。さらに、ストレージ仮想化機構による負荷分散処理方式および動的負荷投入方式について検討を行った。提案する負荷分散方式の有効性を確認するため、並列データマイニング処理を取り上げ、PCクラスタ上に実装し、評価を行った。ストレージ仮想化機能により、SAN上に分散されたオブジェクトは複数のホストコンピュータから仮想的に一つのオブジェクトとして共有されることになる。このためノード間のデータ量スキューは仮想化機構によりほぼ吸収うすることが可能なことを実験結果から確認した。また、各ノードのCPU性能の違い等による演算処理のスキューもストレージ仮想化機構によりある程度吸収できることを確認し、ストレージ側においての負荷分散機構としてストレージ仮想化機構が有効な方式であることを示した。

This study is aimed at establishing a high level of organizational memory and performance within a given year. In this study, we try to implement the function of the server management. Last year, we conducted research on the management and reconstruction of Web services, the methods and prerequisites of Web services construction, and the methods of Web services construction. This year, SAN (Storage Area Network) technology was introduced into PC systems, large-scale data processing was adapted to the needs of the organization, and common data processing methods were used to investigate and implement basic implementation. The load distribution processing mode and dynamic load input mode are discussed in the design mechanism. To confirm the effectiveness of the proposed load distribution method, select and evaluate the load distribution method. For example, if you want to create a new website, you can create a new website. This is the first time I've ever seen a woman who's been in a relationship with a woman. The calculation and processing of CPU performance in different areas are carried out in different ways, and the load distribution mechanism in different areas is confirmed.

项目成果

花井知広, 横田治夫: "自律ディスクを用いたWebサーバーの構成"電子情報通信学会,第13回データ工学ワークショップ. C3-C4 (2002)

Tomohiro Hanai、Haruo Yokota：“使用自主磁盘配置 Web 服务器”，IEICE，第 13 届数据工程研讨会 (2002)。

合田和生, 田村孝之, 小口正人, 喜連川優: "共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節"電子情報通信学会技術報告データ工学. DE2002-85 (2002)

Kazuo Goda、Takayuki Tamura、Masato Oguchi、Yu Kitsurekawa：“使用共享存储池的并行数据库处理中的按需资源调整”IEICE 数据工程技术报告 DE2002-85 (2002)。

K.GODA, M.KITSUREGAWA, et al.: "Run-time Load Balancing System on SAN-connected PC Cluster for Dynamic Injection of CPU and Disk Resource -A Case Study of Data Mining Application -"13th International Conference on Database and Expert Systems Applications

K.GODA、M.KITSUREGAWA 等人：“用于动态注入 CPU 和磁盘资源的 SAN 连接 PC 集群上的运行时负载平衡系统 - 数据挖掘应用案例研究 -”第 13 届国际数据库与专家会议

合田和生, 田村孝之, 小口正人, 喜連川優: "CPU資源並びにディスク資源の動的投入を可能とするSAN型PCクラスタにおける実行時負荷調整機構-データマイニングアプリケーションを用いたケーススタディー-"情報処理学会 並列処理シンポジウムJSPP2002. (2002)

Kazuo Goda、Takayuki Tamura、Masato Oguchi、Yu Kitsurekawa：“SAN 型 PC 集群中的运行时负载调整机制，可实现 CPU 资源和磁盘资源的动态分配 - 使用数据挖掘应用程序的案例研究 -”信息处理学术并行处理JSPP2002 研讨会（2002 年）

山口実靖, 小口正人, 喜連川優: "高遅延広帯域ネットワーク環境下におけるiSCSIプロトコルを用いたシーケンシャルストレージアクセスの性能評価ならびにその性能向上手法に関する考察"電子情報通信学会,第14回データ工学ワークショップ. 4B-2 (2003)

Minoru Yamaguchi、Masato Oguchi、Yu Kitsurekawa：“在高延迟宽带网络环境中使用 iSCSI 协议进行顺序存储访问的性能评估以及性能改进方法的考虑”IEICE，第 14 届数据工程研讨会 4B-2 (2003)。