広域分散型情報収集・検索システムにおける負荷分散方式の研究

广泛分布的信息采集与检索系统负载均衡方法研究

• 批准号: 13780255
• 负责人: 山名 早人
• 金额: $ 1.6万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780255/
• 关键词: 負荷分散; ネットワークの経路選択; 広域分散; 検索システム; 情報検索; サーチエンジン; 広域分散処理; WWWロボット; PROXY; Webページ; 更新頻度

平成14年度の研究においては、平成13年度の成果を踏まえた上で、ネットワークの混雑状況を考慮した分散収集の仕組みを提案するため、当該WWWサーバに至る経路が複数ある場合の経路の選択手法について研究を実施した。具体的には、パケットのトランスポート層の各種情報を分析する事で、複数のネットワーク経路が存在する場合に最適な経路を発見することが可能かどうかを検証した。まず、パケット内のトランスポート層の情報であるTCPヘッダの内容を分析し、複数のネットワークの中から、どのネットワークを使えば効率的にデータ転送を行う事ができるのか示すことができるパラメータを発見することを目指した。最初に、転送率とTCPの様々なパラメータ(平均ウィンドウサイズ、最大ウィンドウサイズ、RTT)の関連性について解析した。解析の結果、1KB以上の転送量を持つコネクションよりは1KB未満の転送量を持つコネクションのほうが、ウィンドウサイズと転送率の関係を得やすいということがわかった。さらに、長い転送時間のコネクション(実験では1秒以上)よりは短い転送時間(同1秒未満)のコネクションからの方が、ウィンドウサイズと転送率の関係を得やすいことがわかった。これらの結果は、小さい転送量、もしくは短い転送時間のコネクションでは、安定してパケットの送信が行われているためだと考えられる。大きい転送量、もしくは長い転送時間のコネクションは、送信の途中で何らかの問題点を持っている可能性があるため、最適経路を選択する上でのパラメータとしては用いない方がよいことが分かった。以上の結果を踏まえ、Webページ収集時に当該WWWサーバまで複数の経路が存在する場合に、経路を選択するための一手法を提案した。さらに、昨年度からの継続として、Webページの更新間隔をWebページを収集することなく発見するためのアルゴリズム開発を行った。

The results of the study in 2004 and 2005 were reviewed, and the study was conducted on the selection method of the route when the WWW server was used to select the route in multiple cases. For example, if a plurality of paths exist, the optimal path can be detected. The content of TCP is analyzed, and the content of TCP is analyzed. The content of TCP is analyzed. Analysis of correlation between initial transmission rate and TCP transmission rate (average, maximum, RTT) The analysis results show that the relationship between the transmission rate and the transmission amount of more than 1KB is obtained by comparing the transmission amount of more than 1KB with the transmission amount of more than 1KB. In addition, the relationship between long and medium transmission time (more than 1 second), short and medium transmission time (less than 1 second) and transmission rate is obtained. The result is that the number of letters sent is small, the number of letters sent is short, the number of letters sent is stable, and the number of letters sent is small. In the case of large transmission volume, long transmission time, problem point, probability, optimal route selection, problem point, problem point. As a result of the above, a method for selecting a route is proposed when the WWW server has a plurality of routes Web page update interval, Web page update interval, Web page update interval

项目成果

西村真幸, 山名早人: "ドメイン毎のWebページ数の偏りを考慮した日本のWebページ数推定調査"情報処理学会第64回全国大会論文集. Vol.3. 23-24 (2002)

Masayuki Nishimura，Hayato Yamana：“考虑到按域划分的网页数量的偏差来估计日本网页数量的调查”第 64 届日本信息处理学会全国会议论文集 3. 23-24。 (2002)

高見進太郎, 山名早人: "逆リンクのチェックによるサイトの特徴、有用性の調査"情報処理学会第64回全国大会論文集. Vol.3. 29-30 (2002)

Shintaro Takami、Hayato Yamana：“通过检查反向链接调查站点特征和有用性”第 64 届日本信息处理学会全国会议论文集，第 3 卷 29-30（2002 年）。