確率的生成モデルにおけるノンパラメトリックベイズ学習と自然言語処理への応用

随机生成模型中的非参数贝叶斯学习及其在自然语言处理中的应用

• 批准号: 08J07036
• 负责人: 佐藤 一誠
• 金额: $ 1.15万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08J07036/
• 关键词: ノンパラメトリックベイズ; 確率的生成モデル; Power-law; オンライン学習; Latent Dirichlet Allocation; Succinct data structure; 量子系; ベイズ学習; 変分ベイズ; グラフ構造; クラスタリング; Dirichlet process; 単語意味関係抽出

本年度は主に3つの成果を上げることができた.これらの成果は,論文誌(1),国際会議(2)において発表を行った.1.離散的な隠れ状態をもつ文書の確率的生成モデルにおいて、単語の出現分布がPower-lawの性質をもつモデルを提案した提案モデルは、Power-lawの性質が内在するデータにおいては,既存モデルであるLatent Dirichlet Allocation (LDa)よりも未知のデータに対する予測性能が大幅に高いことが実験的に示すことができた.2.LDAにおける高速な決定論的逐次学習手法を提案した.本手法は,決定論的なオンライン学習アルゴリズムで,1度処理したデータは捨ててしまうので過去のデータを保持する必要がない.また,収束も早く,並列実行する必要もない手法である.3.Succinct Data structureを利用した圧縮半構造データマイニングアルゴリズムを提案した.XMLを中心として近年,木構造型の半構造データが大量に増加している.このようなデータに対してFREQTと呼ばれる高速に頻出するパターンを抽出するアルゴリズムが提案されている.本研究では,木構造データを情報論的下限まで圧縮した状態で,FREQTアルゴリズムを適用することが可能なアルゴリズムを提案した.

This year は three つ に を の results げ る こ と が で き た. こ れ ら は の results, paper (1), (2) international conference に お い て 発 table line を っ た. 1. State government discrete な れ を も つ documents の probabilistic generation モ デ ル に お い て が, 単 の appear distribution Power - law の nature を も つ モ デ ル を proposal し た proposal モ デ ル は, the Power - law の nature が inner す る デ ー タ に お い て は, existing モ デ ル で あ る Latent Dirichlet Allocation (LDa) よ り も unknown の デ ー タ に す seaborne る に substantially higher to measure performance が い こ と が be 験 に す in こ と が で き た. 2. LDa に お け る high-speed な determinism of successive learning technique proposed を し た. This gimmick は, deterministic な オ ン ラ イ ン learning ア ル ゴ リ ズ ム で, 1 degree 処 Richard し た デ ー タ は shed て て し ま う の で past の デ ー タ を keep す る necessary が な い. ま た, 収 beam も く early, parallel line be す る necessary も な い gimmick で あ る. 3. Succinct Data Structure を using し た 圧 shrink half structure デ ー タ マ イ ニ ン グ ア ル ゴ リ ズ ム を proposal し た. XML を center と し て in recent years, wooden modelling の half structure デ ー タ が large に raised plus し て い る. こ の よ う な デ ー タ に し seaborne て FREQT と shout ば れ る high-speed に mount す る パ タ ー ン を spare す る ア ル ゴ リ ズ ム が proposal Youdaoplaceholder0 されて る. This study で は, wooden structure デ ー タ を intelligence theory of the lower limit of ま で 圧 shrinkage し で た status, FREQT ア ル ゴ リ ズ ム を applicable す る こ と が may な ア ル ゴ リ ズ ム を proposal し た.

项目成果

Knowledge Discovery of Semantic Relationships between Words Using Nonparametric Bayesian Graph Model

利用非参数贝叶斯图模型进行词间语义关系的知识发现

• 发表时间: 2008
• 作者: Nakano;T.;Marshall;B. A.;Kennedy;M.;Spencer;H. G.;佐藤一誠
• 通讯作者: 佐藤一誠

Topic models with power-law using Pitman-Yor process

• DOI: 10.1145/1835804.1835890
• 发表时间: 2010-07
• 期刊: Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining
• 作者: Issei Sato;Hiroshi Nakagawa

Succinct Semi-structured Data Mining Based on FREQT

基于FREQT的简洁半结构化数据挖掘

• 发表时间: 2010
• 期刊: 日本データベース学会論文誌
• 作者: 佐藤一誠;中川裕志
• 通讯作者: 中川裕志

Quantum Annealing for Variational Bayes Inference

• 发表时间: 2009-05
• 期刊: ArXiv
• 作者: Issei Sato;Kenichi Kurihara;Shu Tanaka;Hiroshi Nakagawa;S. Miyashita

Deterministic Single-Pass Algorithm for LDA

• 发表时间: 2010-12
• 作者: Issei Sato;Kenichi Kurihara;Hiroshi Nakagawa