权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Web空間における自然な分布からの乖離現象解明

阐明网络空间中自然分布的偏差

基本信息

批准号：
16650030
负责人：
廣川佐千男
金额：
$ 2.11万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
2004
资助国家：
日本
起止时间：
2004 至 2005
项目状态：
已结题

项目摘要

経済現象や社会現象と同様に、Web空間でも自然な分布が存在することが知られている。例えば、Webページ間のリンク数の頻度分布は、魚群や都市の規模分布や大企業の所得分布と同様なベキ分布に従う。一方、このような自然な多様性から乖離する多数のWebデータも存在する。それはデータベース等から半自動的に生成される同一形式のページや、最新の話題について短期間に増加するページ群である。前者では、共通パターンや反復パターンのテンプレートの出現頻度が自然な分布から乖離し、後者では特徴的キーワードの出現頻度やページ間のリンク状況が自然な分布から乖離している。本研究は、有用な情報を自動的に発見・抽出するため、Web空間における自然な分布からの乖離現象を解明をめざした。具体的には100万件規模のWebページ群を対象に、部分文字列の出現頻度の頻度分布についてベキ分布からの乖離と定型的パターンの関連ならびに、ページ間のリンク数の分布に基づき、萌芽的Webコミュニティ、特異的Webコミュニテイの特徴解明を目指した。具体的には、シラバスに代表されるシリーズ型ページ群に対し、長さnの部分文字列で出現頻度fの文字列の種類数V(n, f)の分布を解析し、共通パターン発見アルゴリズムを開発した。また評判情報に関するページ群を収集し、一般的ページにおける形容詞の出現頻度との乖離を用いて、評判情報に特徴的な単語の抽出手法を考案した。単語の出現頻度の解析によりさらに単語間の上位下位概念に対する新しい定式化である「概念グラフ」を考案した。これは文書群から決定的に決まるもので、様々な文書群に適用できることを確認している。当初のべき分布からの乖離という方向とは異なるが、オントロジー構築への新しい可能性として今後の展開が期待できる新しいテーマと考えてる。当初予定していた、リンク構造の分析については時間的にできなかった。しかし、この「概念グラフ」は文書と単語だけでなく、ページ間のリンクの解析についても適用できる。

Social phenomena and social phenomena are the same, and natural distribution exists in Web space. For example, the frequency distribution of the number of Web pages, the size distribution of the fish population, the income distribution of large enterprises, and the distribution of the number of web pages. A party, a party For example, semi-automatic generation of the same type of page, the latest topic, short-term increase in the number of pages. The former is a natural distribution of frequency of occurrence of common and repeated patterns, while the latter is a natural distribution of frequency of occurrence of characteristic patterns. This study aims to explain the phenomenon of automatic discovery and extraction of useful information and natural distribution in Web space. Specific Web page groups with a scale of 1 million pieces are targeted, frequency distribution of occurrence frequency of partial text lines, distribution of separation and correlation of fixed text lines, distribution of number of separation between pages, basic information, budding Web page information, and characteristic solution of specific Web page information. The distribution of V(n, f), which represents the number of types of character strings with frequency f of occurrence in partial character strings, is analyzed and common character strings are discovered. The collection of adjectives, the frequency of occurrence and the method of extracting adjectives from the evaluation information, and the characteristics of the evaluation information are examined. The analysis of the frequency of occurrence of a single language is based on the new formalization of the superordinate and subordinate concepts of the single language. This document group determines whether the document group is applicable or not. In the beginning, the distribution of new information was different, and the possibility of new information was expected. The analysis of the structure of the original predetermined time is carried out. "Concept" is a term used to describe the relationship between the text and the object.