Suffix Arrayを利用した全部分文字列による情報検索

使用后缀数组使用所有子字符串进行信息搜索

• 批准号: 11780249
• 负责人: 山本 幹雄
• 金额: $ 1.6万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780249/
• 关键词: 情報検索; 単語分割; 日本語情報検索; Vector Space モデル; IDF; Suffix Array; Class Array; Viterbi アルゴリズム; 日本語単語分割; Vector Spaceモデル; ビタービアルゴリズム

昨年度は、ユーザによって入力された検索要求文のすべての部分文字列と、検索対象となる文書集合のすべての文字列をマッチングさせるシステムの構築・評価を行った。その結果、従来法からの精度向上を確認したが、さらなる精度向上と高速化が課題であることが明らかになった。今年度は、まず、全部分文字列を利用することによって性能が上がる理由、およびその限界を検討した結果以下のことが分かった。(1)品詞ごとの検索性能への寄与を調べたところ、従来法ではstop wordとして省かれる助詞や助動詞が以外に性能向上に寄与していることが分かった。これは、助詞等によって接続された複合語も1つの長い単語として扱う方がよいことを示している。(2)検索要求文の中では助詞で接続された長い複合語が、検索対象文献では助詞を省略した名詞連続で表現されている場合、昨年度提案した方法では長い複合語のままではマッチしないため、自動的に短い単語に分割されてしまう。その結果、検索精度が低下している。以上の2点より、部分的に異なってもできるだけ長い単語列でマッチングするシステムが性能・検索速度の面で有利であると考えた。これを反映させるために、マッチングの単位は単語であるが、マッチした単語が近傍に複数存在するときに類似度を上げるような検索システムを構築した。NTCIR-1の評価データを使って、条件を揃えて評価した結果、11pt平均適合率で、従来法が0.38、昨年度作成したシステムが0.40、今年度の提案システムが0.41の性能であり、精度面の向上を確認した。速度の面でも、昨年度より10倍程度の高速化を達成した。

Last year, the search engine entered the search engine and requested part of the text column, search engine set of text column. The result is that the accuracy of the method is upward, and the accuracy is upward. This year, the full text column is used for the reason, the limit and the result. (1)The word "stop" is used to describe the behavior of a verb, and the auxiliary verb is used to describe the behavior of a verb. This is the first time that I've ever heard of such a thing. (2)Search request text auxiliary words continue to long compound words search object text auxiliary words omit nouns continue to express in the past year proposal method long compound words continue to short compound words automatically The accuracy of the results and search is low. The above two points are different from each other in terms of performance and search speed. This is the first time I've ever seen a woman. NTCIR-1 evaluation results, 11pt average fit rate, previous method 0.38, last year's proposal 0.41 performance, accuracy confirmed upward The speed of the plane is 10 times higher than that of the previous year.

项目成果

Mikio Yamamoto: "Using Suffix Arrays to Compute Term Frequency and Document Frequency for All Substrings in a Corpus"Computational Linguistics. 27・1(to appear). (2001)

Mikio Yamamoto：“使用后缀数组计算语料库中所有子字符串的词频和文档频率”计算语言学 27・1（即将出版）。

Tomohiro Ozawa: "Japanese word segmentation using similarity measure for IR"Proceedings of the First NTCIR Workshop on Research in Japanese Text Retrieval and Term Recognition. 89-96 (1999)

Tomohiro Ozawa：“使用 IR 相似性度量的日语分词”第一届 NTCIR 日语文本检索和术语识别研究研讨会论文集。