大規模分布データストリームのためのモデル推定

大规模分布式数据流的模型估计

• 批准号: 10J02772
• 负责人: 松原 靖子
• 金额: $ 0.9万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-10J02772/
• 关键词: 分布データ; 大規模データストリーム; 隠れマルコフモデル; 確率分布モデル

本年度は,大規模データ集合の解析手法に関し,主に以下に挙げる2つのテーマを中心に取り組んだ.(1)大規模分布データ集合の高速探索アルゴリズムの研究分布データは実世界において行動情報や環境情報として大量に発生している.これらのデータを解析することで,実世界行動支援のための有用な情報を発見することができる.本研究では,与えられた時系列分布データおよび確率密度分布に対して,データベースの中から適切な頻度分布シーケンスを探索する問題を対象とする.本研究では理論的な検証を行なうと同時に,実データを用いた実験において提案手法の優位性を検証した.本研究による成果は,データマイニング分野の国際会議であるICDM(IEEE Int. Conf. on Data Mining)に採録されると同時に,同会議での高い評価からSpringerの国際雑誌KAIS(Knowledge and Information Systems)に招待され,雑誌論文が出版された.(2)Webアクセス履歴を対象としたユーザの行動パターンの発見本研究はWebのアクセス履歴データを対象とし,ユーザの行動パターンや周期性,異常値等の有益な情報を,自動的かつ高速に発見するアルゴリズムを提案した.具体的には,ICAおよびLDAを利用して観測されるデータ集合から主要成分を取り出すことにより,大規模なアクセス履歴データの中からユーザの行動パターンを発見する.実データを用いた実験では,提案手法が有益なパターンの発見ができることを確認した。計算コストの面では,提案手法は従来手法と比べて大幅な性能向上を達成している.なお,本研究はNTT研究所コミュニケーション科学基礎研究所主任研究員の櫻井保志氏および,カーネギーメロン大学のChristos Faloutsos教授らとの国際的な共同研究として行われた.その成果はデータマイニング分野の著名な国際会議であるSDM(SIAM Int. Conf. on Data Mining), KDD(ACM SIGKDD Conf. on Knowledge Discovery and Data Mining)に採録されるに至った.

This year, the analysis method of large-scale data collection is related to the following main points: 2. (1)Large scale distribution of data sets for high-speed exploration, research, distribution of data sets for the world, mobile information, environmental information, and mass generation. This data can be parsed and useful information for world mobile support can be revealed. This study aims to explore the problem of time series distribution and accuracy density distribution. This study is to prove the superiority of the proposed method in theory and practice. The results of this study were collected and recorded at the International Conference on Data Mining (ICDM), and the papers were published at the International Journal KAIS(Knowledge and Information Systems). (2)Web access data processing, response time, response time. Specifically,ICA and LDA are used to detect the main components of the data set, and large-scale data sets are used to detect the actions of the data set. In fact, it is confirmed that the proposal method is beneficial because of the insights gained. The calculation of the surface, the proposal method, the method, the performance, the performance. This research was conducted by Professor Christos Faloutsos of NTT Research Institute and Professor Sakurai Yasushi, Director of NTT Research Institute for Basic Science. Accredited at SDM(SIAM Int. Conf. on Data Mining), KDD(ACM SIGKDD Conf. on Knowledge Discovery and Data Mining).

项目成果

WindMine : Fast and Effective Mining of Web-Click Sequences

WindMine：快速有效地挖掘网络点击序列

• 发表时间: 2011
• 作者: Yasushi Sakurai;Lei Li;Yasuko Matsubara;Christos Faloutsos
• 通讯作者: Christos Faloutsos

Fast mining and forecasting of complex time-stamped events

• DOI: 10.1145/2339530.2339577
• 发表时间: 2012-08
• 作者: Yasuko Matsubara;Yasushi Sakurai;C. Faloutsos;Tomoharu Iwata;Masatoshi Yoshikawa

隠れマルコフモデルに基づくストリーム処理

基于隐马尔可夫模型的流处理

• 发表时间: 2011
• 期刊: 情報処理学会論文誌:データベース
• 作者: 松原靖子;櫻井保志;吉川正俊
• 通讯作者: 吉川正俊

Statistical Modeling of Large Distribution Sets

大型分布集的统计建模

• 发表时间: 2010
• 作者: Yasuko Matsubara;Yasushi Sakurai;Masatoshi Yoshikawa
• 通讯作者: Masatoshi Yoshikawa