情報のダイジェスティングに関する研究

本研究では、電子ニュースにおける、いわゆる「掲示型」と呼ばれるニュースグループ(例えば、fj. wantedやfj. forsale等)のダイジェストを自動作成する方法について検討し、fj. wantedのダイジェストの自動生成システムを実現した。本システムの中心技術は、ニュース記事からその記事のカテゴリを判定し、その記事の内容を端的に表すサマリ文を抽出する技術である。本研究で開発した方法は,言わば「斜め読みを模擬した処理」であり、まず、表層的な表現を手がかりとして、42の特徴を抽出する。次に、それらの特徴を利用したルールによって、記事のカテゴリとサマリ文を抽出する。ブラインドデータに対する実験において、本方法は、カテゴリ判定正解率81%、サマリ文抽出正解率76%という値を示した。抽出されたサマリ文はカテゴリ毎に整理され、HTML形式のダイジェストとして出力される。このとき、元の記事へのポインタは、ハイパーテキストのリンクとして埋め込まれる。作成されたダイジェストは、WWWのクライアントプログラムによって読むことができる。本研究で開発した方法は、fj. wantedを対象としたものであるが、他の掲示情報型ニュースグループや質問応答型のニュースグループのダイジェスト作成にも、同様な手法が適用できると考えられる。また、本方法をさらに発展させることによって、FAQの自動作成も可能になると考えられる。

本研究では、電子ニュースにおける、いわゆる「掲示型」と呼ばれるニュースグループ(例えば、fj. wantedやfj. forsale等)のダイジェストを自動作成する方法について検討し、fj. wantedのダイジェストの自動生成システムを実現した。本システムの中心技術は、ニュース記事からその記事のカテゴリを判定し、その記事の内容を端的に表すサマリ文を抽出する技術である。本研究で開発した方法は,言わば「斜め読みを模擬した処理」であり、まず、表層的な表現を手がかりとして、42の特徴を抽出する。次に、それらの特徴を利用したルールによって、記事のカテゴリとサマリ文を抽出する。ブラインドデータに対する実験において、本方法は、カテゴリ判定正解率81%、サマリ文抽出正解率76%という値を示した。抽出されたサマリ文はカテゴリ毎に整理され、HTML形式のダイジェストとして出力される。このとき、元の記事へのポインタは、ハイパーテキストのリンクとして埋め込まれる。作成されたダイジェストは、WWWのクライアントプログラムによって読むことができる。本研究で開発した方法は、fj. wantedを対象としたものであるが、他の掲示情報型ニュースグループや質問応答型のニュースグループのダイジェスト作成にも、同様な手法が適用できると考えられる。また、本方法をさらに発展させることによって、FAQの自動作成も可能になると考えられる。