权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Research on cloud storage systems for large-scale data processing applications

面向大规模数据处理应用的云存储系统研究

基本信息

批准号：
22K17869
负责人：
大江和一
金额：
$ 2.91万
依托单位：
National Institute of Informatics
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術の確立を中心に進めた。まず、IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアの実装と評価を行った。評価はMSR Cambridge Tracesの中からアクセス数が多い8ログを用いて行った。MSR Cambridge Tracesは、マイクロソフトリサーチの部門サーバの1週間分のIOアクセスログが公開となっており、同分野の研究者で広く利用されている。その結果、１）時間経過と共に必要となるデバイス領域とキャッシュ方式が変化していくこと、２）アプリケーションごとに１）の特徴が異なることを示した。さらに、この評価結果より、アプリケーションごとにデバイス領域の大きさとキャッシュ方式を動的に変更していくことで性能向上できることも示した。この成果は、IEICE CPSY1月研究会とIPSJ OS 2月研究会で発表した。各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する部分は、設計を完了し実装を進めている段階である。アプリケーション運用中にデバイス領域とキャッシュ方式を前節の選択結果に基づいて再配置する技術は、概要設計まで進めた。並行してこの技術の実装に必要な不揮発メモリやInfinibandが搭載されたサーバの手配を行い、2022年度末までに実験に必要なソフトウエア等のインストールまで終了した。NVM領域を必要とするアプリケーションに割当て低遅延でアクセスする技術に関しては、Infiniband通信のベンチマークであるperftestを用いて購入機材の疎通確認まで進めた。

This year, we will focus on the analysis of the time and space characteristics of various applications, the selection of necessary applications, and the establishment of technologies. The time and space characteristics of the display, IO access, etc. are analyzed and evaluated. The number of MSR Cambridge Traces in China has increased to 8. MSR Cambridge Traces is open to the public and available to researchers in the same field. The results are as follows: 1) Time period is necessary; 2) Characteristics are different; The results of this review are as follows: IEICE CPSY January Research Meeting and IPSJ OS February Research Meeting The necessary fields and modes of design are selected, and the design is completed. The application of the technology in the field and the selection of the results of the previous section, the re-configuration of the technology, the outline design In parallel, the implementation of this technology will not be necessary to develop the Infiniband system, and the system will be completed by the end of 2022. NVM domain needs to be optimized for low-latency technologies, and Infiniband communications needs to be optimized for communications validation.