Pattern Discovery from Large Text Data Based on the Property of Languages Being Scale-Free

基于语言无标度特性的大文本数据模式发现

• 批准号: 19700150
• 负责人: IKEDA Daisuke
• 金额: $ 2.4万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19700150/
• 关键词: 知識発見とデータマイニング; テキストマイニング; 部分文字列による頻度推定; 背景集合を用いたマイニング; 例外文字列発見; スパム検出; ワードサラダ; Zスコア; 接尾辞木

本研究の大目標は、スケールフリー性を利用し、言語や対象領域に依存しないテキストマイニングの手法を確立することである。これに対し、可変長の文字列の組み合わせでパターンを発見する手法を2つ提案し、その有効性を実験により示した。最初の手法で用いるパターンは、複数の可変長部分文字列が重複を持って重なっている。この手法により、従来は困難だったワードサラダと呼ばれる人工的に生成されたスパムを検出できるようになった。この手法は、普通の頻度分布と異なる部分を抽出するという意味で従来よく用いられてきた標準正規分布からのずれ(z-score)を用いた手法に近い。一方で、データマイニングの分野で研究されてきた例外パターン発見の枠組みをテキストに応用し、z-scoreでは見つけられなかったパターンを発見できることを、DNA配列を用いた実験により示した。

The main purpose of this study is to establish the method of language domain dependence. The combination of these two types of text can be seen in two different ways: in one case, in the other, in the other. The original method is to repeat the text string in the middle of the text string, and to repeat the text string in the middle of the text string. This method is difficult to generate manually. This means that the frequency distribution is different from that of the normal distribution, and the method is close to that of the normal distribution. A side, a side.

项目成果

Unsupervised Spam Detection by Document Complexity Estimation

通过文档复杂性估计进行无监督垃圾邮件检测

• 发表时间: 2008
• 作者: Uemura;Ikeda;and Arimura
• 通讯作者: and Arimura