消失したWebページの情報源としての有効性の分析とURL自動変更

丢失网页作为信息源的有效性分析和自动URL更改

基本信息

批准号：
15650043
负责人：
原田隆史
金额：
$ 2.05万
依托单位：
Keio University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
2003
资助国家：
日本
起止时间：
2003 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15650043/
关键词：
Web 消失

项目摘要

現在,Webページは質・量ともに急激な伸展をとげ,一般生活のみならず企業での意思決定行動や研究活動にとっても,欠くことができない情報源となっている。しかし,一方でWebページの約三分の一が1年以内に消失する,また多くのページは更新がなされるなど,その継続性が情報源としての問題点であると言われている。しかし,従来の研究は,研究時点で利用可能なWebページの分析がほとんどであり,消失したページや更新されたページの分析はほとんど行われてこなかった。このような消失したページの分析はWebページの利用に関してだけではなくWebページの作成という観点からも有効であると考えられる。本研究では,昨年度までに収集したWebページのうちで現在は消失してしまったWebページを対象とした分析を行い,その特徴と消失したWebページと同内容のWebページの存在する可能性,さらに同内容のWebページを見つけるためのアルゴリズムについて検討した。消失した500のWebページを対象とした調査の結果,消失ページのうち42%のページについて消失したページと同じかあるいは継続した内容であるページが残っていることが明らかとなった。これらの同内容のページが残っているものを対象として,1)URLの階層構造を利用したトラッキング,2)Webページ消失前になされた移転予告の告知,3)HTMLタグに注目してキーワードの抽出を行う方法を用いて同内容のWebページを探し出すアルゴリズムを開発し,抽出案験を行った。実験の結果,1)および2)の手法を用いて消失Webページのうち27%を見つけることができ,このアルゴリズムの有効性が確認された。しかし,HTMLタグに注目したキーワード抽出を用いた方法では5%以下のWebページしか検出することができず,HTMLタグがメタ言語としては十分に機能していないことが明らかとなった。

当前，网页的质量和数量既快速增长，并且不仅是一般公共生活的必不可少的信息来源，而且是公司决策行动和研究活动的必不可少的信息来源。但是，另一方面，大约三分之一的网页在一年内消失了，并且许多页面都被更新了，因此据说该信息的连续性是作为信息来源的问题。但是，以前的大多数研究都已在研究时可用的网页上进行了分析，并且在缺失或更新的页面上几乎没有完成。对丢失页面的这种分析不仅从使用网页的角度，而且从创建网页的角度来看被认为是有效的。在这项研究中，我们分析了现在从收集到去年的网页中消失的网页，并检查了特征，这些特征是与丢失的网页相同内容的网页，以及找到具有相同内容的网页的算法。对500个丢失网页的调查显示，丢失的页面中有42％的页面仍然与丢失的页面相同或持续的内容。对于具有与剩下相同内容相同内容的页面，我们开发了一种算法来查找具有相同内容的网页，使用1）使用URL的层次结构进行跟踪，2）通知网页消失之前发出的传输通知，以及3）通过专注于HTML标签来提取关键字，并进行提取提案。实验结果，使用方法1）和2）可以找到27％的丢失的网页，并确认了该算法的有效性。但是，使用关键字提取以HTML标签为重点，可以检测到低于5％的网页，并且发现HTML标签作为金属学的功能不佳。