ネットワーク上の半構造テキストデータの変換規則に関する知識獲得システムの研究

与えられたHTMLデータから目的のテキストを切り出すプログラムをHTMLラッパーと呼び、そのようなラッパーを機械的に学習する枠組みをラッパー帰納という。本研究ではHTMLデータの木構造に着目し、初年度はツリーラツパーとその学習の枠組みを提案した。ここでの目標はいくつかのテキストに共通してマッチする1本のパスをHTML上に発見することである。このパスを抽出パスと呼び、ツリーラッパーはこのような抽出パスの集まりである。学習アルゴリズムの目標は、与えられたHTMLとテキストからそのテキストだけにマッチするできるだけよい抽出パスを発見することである。このツリーラッパーの枠組みでは学習に非常に時間がかかるということと、あたえられたHTMLデータの構造があらかじめ決まっていなければならないという欠点があった。そこで本年度ではうツパーの概念を拡張し、高速で大規模な実装を行った。ここで新たにパス表現という概念を導入し、学習例に依存しないアルゴリズムを提案した。その結果、大部分のHTMLデータに対してこのアルゴリズムが有効であることを示した。以上のような初年度及び本年度の研究成果は国内外の学会・論文誌において発表済みである。

与えられたHTMLデータから目的のテキストを切り出すプログラムをHTMLラッパーと呼び、そのようなラッパーを機械的に学習する枠組みをラッパー帰納という。本研究ではHTMLデータの木構造に着目し、初年度はツリーラツパーとその学習の枠組みを提案した。ここでの目標はいくつかのテキストに共通してマッチする1本のパスをHTML上に発見することである。このパスを抽出パスと呼び、ツリーラッパーはこのような抽出パスの集まりである。学習アルゴリズムの目標は、与えられたHTMLとテキストからそのテキストだけにマッチするできるだけよい抽出パスを発見することである。このツリーラッパーの枠組みでは学習に非常に時間がかかるということと、あたえられたHTMLデータの構造があらかじめ決まっていなければならないという欠点があった。そこで本年度ではうツパーの概念を拡張し、高速で大規模な実装を行った。ここで新たにパス表現という概念を導入し、学習例に依存しないアルゴリズムを提案した。その結果、大部分のHTMLデータに対してこのアルゴリズムが有効であることを示した。以上のような初年度及び本年度の研究成果は国内外の学会・論文誌において発表済みである。