Research on Very Large Secondary Storage System based on Multiple Disk-Array and its Functional Management Mechanism

基于多磁盘阵列的超大型二级存储系统及其功能管理机制研究

• 批准号: 09558028
• 负责人: KITSUREGAWA Masaru
• 金额: $ 7.81万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 1998
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09558028/
• 关键词: disk array; Implementation Method; Performance Evaluation

In this research, we consider a very large secondary storage system configuration which consists of multiple disk arrays connected by appropriate network, that is, an arrayed disk-array system.At the first year, We have already proposed novel disk array architecture, such as virtual striping, hot block clustering and hot mirroring and developed a fine disk array simulator based on these techniques. Since the applications which require a very large secondary storage system, the arrayed disk-array, process a large amount of data, we took large transaction processing as a target application of our arrayed disk-array and retrieve trace data of TPC-C running on commercial RDB.Then, we estimate the performance of our system analyzing the trace data.At the second year, we took large data houses as a target application of our system and retrieve trace data of TPC-D running on commercial RDB.We analyzed the access locality of very large dataware houses by using the above trace data. Considering various index mechanisms, especially multicolumn index and its metadata management, we proposed the self-contained performance tuning mechanism based on data characteristics which estimated by applications. Moreover, the prefetch mechanism on the arryaed disk-array by utilizing metadata information was proposed. The performance evaluation of these proposed method was done by analyzing large database applications, such as transaction application (TPC-C) and dataware house application (TPC-D). Consequently, we showed the efficiency of our methods.

在这项研究中，我们考虑了一个非常大的二级存储系统配置，它由通过适当的网络连接的多个磁盘阵列组成，即阵列磁盘阵列系统。在第一年，我们已经提出了新颖的磁盘阵列架构，例如虚拟条带化、热块集群和热镜像，并基于这些技术开发了一个精细的磁盘阵列模拟器。由于需要非常大的辅助存储系统（阵列磁盘阵列）的应用程序需要处理大量数据，因此我们将大型事务处理作为阵列磁盘阵列的目标应用程序，并检索在商业 RDB 上运行的 TPC-C 的跟踪数据。然后，我们通过分析跟踪数据来估计系统的性能。第二年，我们将大型数据屋作为我们系统的目标应用程序，并检索在商业 RDB 上运行的 TPC-D 的跟踪数据。 RDB。我们利用上述跟踪数据分析了超大型数据仓库的访问局部性。考虑到各种索引机制，特别是多列索引及其元数据管理，我们提出了基于应用程序估计的数据特征的自包含性能调优机制。此外，还提出了利用元数据信息对阵列磁盘阵列进行预取的机制​​。这些提出的方法的性能评估是通过分析大型数据库应用程序来完成的，例如事务应用程序（TPC-C）和数据仓库应用程序（TPC-D）。因此，我们展示了我们方法的效率。

项目成果

根本 利弘,喜連川 優: "衛星画像データベースのアクセス履歴を用いたホットレプリケーションの評価" 電子情報通信学会1998年情報・システムソサイエティ大会講演論文集. D-4-8 (1998)

Toshihiro Nemoto、Yu Kitsurekawa：“使用卫星图像数据库的访问历史来评估热复制”IEICE 1998 信息与系统协会会议论文集 D-4-8 (1998)。

稲見 聡,喜連川 優: "高機能ディスクにおけるアクセスプランを用いたプリフェッチ機構の一考察" 第10回データ工学ワークショップ論文集. (1999)

Satoshi Inami、Yu Kitsurekawa：“在高性能磁盘中使用访问计划的预取机制的研究”第 10 届数据工程研讨会论文集（1999 年）。

根本 利弘,迫 和彦,喜連川 優,高木 幹雄: "部分マイグレーション機構を有する三次記憶ファイルシステムPFSの8ミリテープアーカイブ装置への実装とその性能評価" 電子情報通信学会論文誌. Vol.J81-D-I,No.6. 747-754 (1998)

Toshihiro Nemoto、Kazuhiko Sako、Yu Kitsurekawa、Mikio Takagi：“具有部分迁移机制的三级存储文件系统 PFS 到 8mm 磁带归档设备的实现及其性能评估”，电子信息与通信工程师学会汇刊 J81-。 D-I，编号 .6.747-754 (1998)

茂木和彦, 喜連川優: "トランザクション処理環境におけるディスクアクセスの特性解析" 情報処理学会第55回全国大会講演論文集. Vol.3. 5AA-5 (1997)

Kazuhiko Mogi、Yu Kitsurekawa：“事务处理环境中磁盘访问的特性分析”第 55 届日本信息处理学会全国会议论文集，第 3 卷 5AA-5（1997 年）。

茂木 和彦, 喜連川 優: "トランザクション処理環境におけるアクセストレースを用いたHot mirroringの性能解析" 電子情報通信学会データ工学研究会. Vol.97,No.161. 7-12 (1997)

Kazuhiko Mogi、Yu Kitsurekawa：“事务处理环境中使用访问跟踪的热镜像性能分析”IEICE 数据工程研究组，第 97 卷，第 7-12 期（1997 年）。