Development of quasi-balanced ultra large-scale Japanese corpus and its high-speed search tool

点击翻译按钮获取中文摘要

超大規模コーパス構築のため、前年度に作成したクローラーを用いて、ウェブページの収集を継続して行った。その結果、約8100万ファイルのウェブページの収集を行うことができた。当初予定の１億ファイルには届かなかったものの、それに近い数の収集ができた。続いて、データクリーニングを行った。収集したデータには、head要素、script要素、タグなどの、コーパスには不要な情報が含まれているので、それらの情報を削除した。その上でテキストを抽出し、エンコーディングをすべてUTF-8にした。さらにテキストには、広告やリンクなどの当該ウエブページの本文とは言えない情報が含まれているので、それらを除去した。得られたテキストに対して、UniDic（辞書）を使用して形態素分析を行い、その結果得られた形態素（語彙素）に対して、品詞や活用などの情報を付与するアノテーション作業を実施した。コーパスの検索時に用いる、機能語・機能表現のリストを作成した。既存の機能語を扱った複数の辞書やリスト（機能語用例データベース「はごろも」、『日本語文型辞典』など）を用い、それらで扱われている見出し項目をすべて収集することによって、第一次候補としての機能語・機能表現の項目が最大になるリストを準備した。このリストを精査して、最終的なリストにしていく作業が残されている。この作業を通して得られた成果・知見は、『日本語文型バンク』（国立国語研究所）に提供され、その構築に寄与した。また、その成果を教科書開発に生かす方法についても考察した。