情報ネットワーク生態系における進化ダイナミクスの解析

点击翻译按钮获取中文摘要

WWWにおける情報伝播は、ウェブのコンテンツを相互結合するハイパーリンクの構造によって変化する一方、情報伝播の結果によってハイパーリンクの構造もまた、同時に変化する。本研究対象は、こうした構造と現象の変化の連環から成る複雑系である。このような複雑系にアプローチしていくために、本年度は以下の研究課題を進めた。・WWWクローラによる各種パラメータ観測システムの開発導入予定の計算機システムを用いてWWW上のハイパーリンクを渡り歩いて情報を収集するクローラシステムを開発した。一般的にWWWクローラとは、検索用のインデックスを作成するために自然言語解析等を行うが、本研究では、情報ネットワーク生態系の進化ダイナミクスを解明することが目的であるので、ハイパーリンクの構造やページの更新日時等のパラメータを収集するクローラを開発する。・HTTPクライアントの作成上記のWWWクローラを作成するためのツールとして、高機能なHTTPクライアントを開発した。URLを指定するのみでWeb上のデータを取得することが可能なため、通常のものに比ベコーディング量を大幅に減らすことができる。具体的機能として、クローリングの際に適切なべ一ジ取得間隔をあける、プロキシが必要な場合は自動的に選択したプロキシを利用する、認証が求められた場合は設定されたアカウントとパスワードによって認証を行うことができる、リダイレクトを自動的に処理し所望のページを取得することが可能である、ヘッダの更新日時を取得することで無駄なページの取得をしなくてもすむ、等の機能を有する。