仮想並列計算機を活用したデータ解析法の開発と実装に関する研究

虚拟并行计算机数据分析方法的开发与实现研究

• 批准号: 14780165
• 负责人: 南 弘征
• 金额: $ 2.24万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14780165/
• 关键词: 計算機統計学; 並列データ解析; 高速アルゴリズム; 仮想並列計算機環境

本研究は,既存のパーソナルコンピュータをコンピュータネットワークで相互接続した仮想並列計算機環境において,並列計算機に適したデータ解析法・アルゴリズムを開発,実装するとともに,仮想並列計算機上であることをユーザに意識させることなく利用可能なグラフィカルインタフェースの構築を目的とする.平成15年度においては,平成14年度に得られた知見に基づき,並列計算機上で有効な,新たな解析手法を開発,検討するとともに,インターネットと親和性の高い,並列データ解析用のグラフィカルユーザインタフェースを構築することを目的とした.具体的な研究内容としては,平成14年度中に実装したブートストラップ法に加え,アルゴリズム中の部分計算の分割が容易であり,かつ,初期値が結果に及ぼす影響の大きいk-means法の並列化を行い,有効性を比較検討した.また,各々の代表的手法における仮想並列計算機内での挙動詳細を精査すべく,中途過程の履歴をGUIにより図示させ,アルゴリズムによる挙動の差異を確認した.その結果,代表的な探索的データ解析手法において,複数の部分計算の粒度が均一でない場合においても,MPIライブラリによる実装が安定した挙動を示すこと,PVMライブラリによる実装では,各ノードにおいて待ち時間が発生し,効率的計算という観点からは疑義が認められることなどが明らかになった.以上から,仮想並列計算機環境は既存の手法への応用可能性が充分であり,並列実行を前提とした新手法の開発を待たずとも有用性を検証することができた.また,各並列化ライブラリ用に開発されたインタフェース環境を基本としながらも組み合わせを工夫することで,並列実行環境を整え得ることも明らかとなった.今後も,これらの成果に基づく改善を継続していきたい.なお,成果以外にも,仮想並列計算機の実装を視野に入れた応用に関する内容を原著論文および国際会議等で公開した.

This study aims to explore the ways in which existing computer systems can be connected to each other, and how parallel computer systems can be used to build awareness. In 2015, based on the knowledge gained in 2014, which is effective on parallel computers, new analysis methods have been developed and discussed. In addition, the high affinity of the Internet service and the high affinity of the Internet service have achieved the goal of building a comprehensive interface for parallel data analysis. Specific research content: In the middle of the year of Heisei 14, the method of "k-means" was added, and the partial calculation of the system was easy to divide. The initial value of the results and the influence of the large k-means method were compared and discussed. The method of each representative should be checked carefully in parallel with the movement in the computer, and the difference of movement should be confirmed in the GUI of the middle process. The results represent the exploration of the data analysis method, the calculation of the particle size of the multiple parts is uniform, the MPI is stable, the PVM is stable, the PVM is stable, the waiting time of each application is generated, the calculation of the double-rate is recognized. In the above, we want to demonstrate the utility of existing methods in parallel computer environments, and the utility of new methods to be developed in parallel computer environments. For example, the environment of each parallel operation is basically the same as the environment of the parallel operation. In the future, the results of this project will be improved. In addition to the achievements, the content of the original papers and international conferences is open to the public.

项目成果

南 弘征: "データ解析とコンピュータネットワークの相補関係に関する考察"統計数理研究所「統計科学情報の高度利用」研究会報告集. 47-54 (2004)

Hiroyuki Minami：“关于数据分析与计算机网络之间互补关系的思考”统计数学研究所“统计科学信息的高级利用”研究组报告47-54（2004）。

南 弘征: "データ解析の並列化におけるPVMとMPIの特性について"第16回目本計算機統計学会シンポジウム論文集. 151-152 (2002)

Hiroyuki Minami：“并行数据分析中 PVM 和 MPI 的特点”计算统计学会第 16 届研讨会论文集 151-152 (2002)。

H.Minami: "Empirical Study of Parallel-oriented Statistical Procedure"Bulletin of the International Statistical Institute. Book 2. 51-52 (2003)

H.Minami：“并行统计程序的实证研究”国际统计研究所公报。

Y.Sato, H.Minami, M.Mizuta: "Adaptive Spain Filtering with Text Mining"Bulletin of the International Statistical Institute. Book 2. 371-372 (2003)

Y.Sato、H.Minami、M.Mizuta：“通过文本挖掘进行自适应西班牙过滤”国际统计研究所通报。

T.Shimamura, H.Minami, Y.Komiya, M.Tada, T.Moriuchi, M.Mizuta: "Penalized Regression Modeling for Gene Expression Data Analysis"Bulletin of the International Statistical Institute. Book 2. 426-427 (2003)

T.Shimamura、H.Minami、Y.Komiya、M.Tada、T.Moriuchi、M.Mizuta：“基因表达数据分析的惩罚回归模型”国际统计研究所通报。