基于语言无标度特性的大文本数据模式发现-猫眼课题宝

基于语言无标度特性的大文本数据模式发现

批准号：

19700150

负责人：

IKEDA Daisuke

金额：

$2.4万

依托单位：

Kyushu University

依托单位国家：

日本

项目类别：

Grant-in-Aid for Young Scientists (B)

财政年份：

2007

资助国家：

日本

项目状态：

已结题

起止时间：

2007 至 2008

来源：

https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19700150/

关键词：

知識発見とデータマイニングテキストマイニング部分文字列による頻度推定背景集合を用いたマイニング例外文字列発見スパム検出ワードサラダ Zスコア接尾辞木

项目摘要

项目成果

IKEDA Daisuke的其他基金

相似基金

相关文献

中文摘要

翻译

点击翻译按钮获取中文摘要

英文摘要

本研究の大目標は、スケールフリー性を利用し、言語や対象領域に依存しないテキストマイニングの手法を確立することである。これに対し、可変長の文字列の組み合わせでパターンを発見する手法を2つ提案し、その有効性を実験により示した。最初の手法で用いるパターンは、複数の可変長部分文字列が重複を持って重なっている。この手法により、従来は困難だったワードサラダと呼ばれる人工的に生成されたスパムを検出できるようになった。この手法は、普通の頻度分布と異なる部分を抽出するという意味で従来よく用いられてきた標準正規分布からのずれ(z-score)を用いた手法に近い。一方で、データマイニングの分野で研究されてきた例外パターン発見の枠組みをテキストに応用し、z-scoreでは見つけられなかったパターンを発見できることを、DNA配列を用いた実験により示した。

期刊论文(0)

专著(0)

科研奖励(0)

会议论文

Unsupervised Spam Detection by Document Complexity Estimation

通过文档复杂性估计进行无监督垃圾邮件检测

DOI： --

发表时间： 2008

期刊：

影响因子： --

作者：

[Uemura, Ikeda, and Arimura]