ネットサーチエンジンにおける表構造の索引化と意味的多義性解消への応用

互联网搜索引擎表结构索引及其在语义消歧中的应用

• 批准号: 13780336
• 负责人: 獅々堀 正幹
• 金额: $ 1.28万
• 依托单位: The University of Tokushima
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780336/
• 关键词: WWW; 表構造解析; 表内容解析; 情報抽出; 意味的多義性; 表構造; 索引化; HTML; 知識獲得; 情報検索

本研究は,WWW空間上に存在するHTML形式の表構造から言語学的な知識を自動獲得することを目的としている.従来,WWW空間上のデータを対象にしたネットサーチエンジンに代表される全文検索技術では,HTMLタグ情報を考慮していないため,表構造内の単語については,各項目間の関係が無視されていた.しかしながら,表構造内の各項目には,属性と属性値の関係が成り立つものが多数存在しており,大規模な表構造を収集すれば,言語学的な知識が抽出できると考えている.本研究の平成13年度の実施計画目標であった「表構造から各項目の位置情報を生成する表構造解析アルゴリズムの確立と効率的な索引化手法の考案・評価」に対しては,位置情報をコンパクトなビット列で表現する手法を考案した.本手法を用いると,位置情報がコンパクトに表現できるだけでなく,表構造内において縦横の位置に存在する項目を高速に検索することが可能になった.また,本研究の平成14年度の実施計画目標は「表構造内に存在する固有名詞の意味情報を特定する表内容解析アルゴリズムの確立とその結果を用いた検索質問が有する意味的多義性を考慮したネット検索エンジンの開発」であった.これに対して,各項目の意味情報は,各項目の縦横上位下位方向に存在する項目内容(これを表内の文脈と呼ぶ)に反映されている点に着目し,教師データを用いて相互情報量により文脈間の類似性を計算し,表内容解析を行うアルゴリズムを提案した.また,応用システムとして,表内の情報を問い合わせるシステム,ホームページ内に存在する表を読み上げるシステム等を開発し,その有効性を確認した.本研究成果は,情報処理学会の自然言語処理研究会およびデータベースシステム研究会にて口頭発表しており,情報処理学会論文誌にも投稿中である.

The purpose of this study is to construct a table in the form of HTML that exists in the WWW space and to automatically acquire linguistic knowledge.としている.従来,のデータを対肖にしたネットサーチエンジンにrepresentative されるfull text search technology on WWW spaceでは, HTML information is considered, the relationship between each item is ignored, and the relationship between each item is ignored.ていた.しかしながら, each item in the table structure には, the attribute と attribute の relationship が成り立 つものがmost existence しており, large-scale collection of table structure, collection of linguistic knowledge, and examination of linguistic knowledge. This study was carried out in 2013 Implementation plan objectives include table structure, location information generation for each project, table structure analysis, establishment and efficiency. The indexing technique is the test case and the evaluation is done. The technique is used, the location information is expressed, and the position of the table structure is present. The project's high-speed construction project is a possible project, and this study's FY2014 construction plan target is "table structure" existenceするproper nounのmeaning informationをspecificする table content analysisアルゴリズムのestablishmentとそのresultを useいた検questionが有Considering the ambiguity of the meaning of したネット検SO エンジンの开発」であった.これに対して, the meaning information of each item is , the existence of each item in the upper and lower direction, the content of the item (the context of the table, the context of the item), and the focus of the project.し, Teacher データを Use いて Mutual information amount により The similarity between contexts を Calculation し, Table content analysis を row うアルゴリズムをTi Case した.また,応用システムとして,Information in the table,Ask い合わせるシステム,ホームページ内にExistence tableを読み上げるシステムetc.を开発し, そのeffectiveness をconfirmationした. The results of this research, Natural Speech Processing of the Information Processing Society The research association's research association's oral presentation and the information processing society's thesis journal are currently being submitted.

项目成果

Masami Shishibori, Minsoo Jung, Satoru Tsuge, Jun-ichi Aoe: "Improvement of the Hierarchical Compact Patricia Trie for a Dynamic Large Key Set"Proceeding of 5th International Conference on Knowledge-Based Intelligent Information Engineering Systems & Alli

Masami Shishibori、Minsoo Jung、Satoru Tsuge、Jun-ichi Aoe：“动态大密钥集的分层紧凑 Patricia Trie 的改进”第五届基于知识的智能信息工程系统国际会议论文集

Sangkon Lee, Masami Shishibori, Toru Sumitomo, Jun-ichi Aoe: "Extraction of Field-coherent Passages"Journal of Information Processing & Management. Vol38, No.2. 173-207 (2002)

Sangkon Lee、Masami Shishibori、Toru Sumitomo、Jun-ichi Aoe：“场相干通道的提取”信息处理杂志

Masami Shishibori, Kazuaki ando, Jun-ichi Aoe: "A Filtering Method for E-mail Documents based on Personal Profiles"Proceedings of the 19th Int'l Conf. on Computer Processing of Oriental Languages. 69-72 (2001)

Masami Shishibori、Kazuaki ando、Jun-ichi Aoe：“基于个人资料的电子邮件文档过滤方法”第 19 届国际会议论文集。

Masami Shishibori, Kazuaki Ando, Jun-ichi Aoe: "A E-mail Filtering System Based on Personal Profiles"Proceedings of the Sixth Natural Language Processing Pacific Rim Symposium. 609-616 (2001)

Masami Shishibori、Kazuaki Ando、Jun-ichi Aoe：“基于个人资料的电子邮件过滤系统”第六届自然语言处理环太平洋研讨会论文集。

Sangon Lee, Masami Shishibori: "Passage Segmentation Based on Topic Matter"Int'l J. of Computer Processing of Oriental Languages. Vol15,No.3. 305-340 (2002)

Sangon Lee、Masami Shishibori：“基于主题的段落分割”《东方语言计算机处理国际杂志》。