Development of quasi-balanced ultra large-scale Japanese corpus and its high-speed search tool

准平衡超大规模日语语料库及其高速搜索工具开发

• 批准号: 18H03575
• 负责人: 今井 新悟
• 金额: $ 27.71万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-01 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18H03575/
• 关键词: コーパス; 超大規模; アノテーション; 機能語; レキシカル・プロファイリング; 日本語; 日本語教育; 準均衡コーパス; 超巨大コーパス; 検索ツール; 機能句; レキシカルプロファイリング

超大規模コーパス構築のため、前年度に作成したクローラーを用いて、ウェブページの収集を継続して行った。その結果、約8100万ファイルのウェブページの収集を行うことができた。当初予定の１億ファイルには届かなかったものの、それに近い数の収集ができた。続いて、データクリーニングを行った。収集したデータには、head要素、script要素、タグなどの、コーパスには不要な情報が含まれているので、それらの情報を削除した。その上でテキストを抽出し、エンコーディングをすべてUTF-8にした。さらにテキストには、広告やリンクなどの当該ウエブページの本文とは言えない情報が含まれているので、それらを除去した。得られたテキストに対して、UniDic（辞書）を使用して形態素分析を行い、その結果得られた形態素（語彙素）に対して、品詞や活用などの情報を付与するアノテーション作業を実施した。コーパスの検索時に用いる、機能語・機能表現のリストを作成した。既存の機能語を扱った複数の辞書やリスト（機能語用例データベース「はごろも」、『日本語文型辞典』など）を用い、それらで扱われている見出し項目をすべて収集することによって、第一次候補としての機能語・機能表現の項目が最大になるリストを準備した。このリストを精査して、最終的なリストにしていく作業が残されている。この作業を通して得られた成果・知見は、『日本語文型バンク』（国立国語研究所）に提供され、その構築に寄与した。また、その成果を教科書開発に生かす方法についても考察した。

The super-large size is very large, and the previous year has been used in the first year, and the previous year has been completed. The results show that about 81 million percent of the data are collected. At the beginning, it was scheduled that there would be a total of 100 million dollars in the current year. I'm sorry, I'm sorry, I'm sorry. Set, head, script, and so on, do not have any information on them, and cut them out. On the computer, pull out, pull out, pick up the UTF-8. Please tell me that if you want to read this article, please tell me that there is something wrong with you, and that you should delete it. In this paper, we use the method of UniDic to analyze the data, and the results of the analysis show that the results of the analysis are correct, and the results show that the results of the analysis are effective. In order to make a system, the system is made by using the computer, the machine and the machine to display the system. The existing machine can register the copy number lexicon. The existing machine can use the existing machine to record the complexity of the lexicography. the existing machine can register the copy number of the existing computer, and the existing machine can save the number of copies of the lexicography. the existing machine can record the number of copies of the dictionary dictionary, the existing machine can read the number of words, and the number of items. There is a lot of work, and the most important thing is that there is a problem with the operation. You will be informed of the results of the training program, and the "Japanese language training Program" (National Institute of National Institute) will provide you with information and information about how to send it to you. The teaching of the results of the study and the teaching of the results of the examination and study of the methods of medical students and students.

项目成果

日本語教育に役立つコーパスの使い方

如何利用语料库辅助日语教育

• 发表时间: 2019
• 作者: Koizumi;R.;In’nami;Y.;Fukazawa;M.;Ishida H.;Susumu Nakatsuji;小澤清男・片岡太郎・鹿納晴尚・上様信彦・小林和貴・佐々木理・佐々木由香・鈴木三男・永嶋正春・能城修一・バンダリ スダルシャン;川添和暁・佐々木由香・米田恭子・バンダリ スダルシャン;白井恭弘;小澤毅;矢野桂司;鈴木康之;近藤成一 他;小島泰雄;砂川有里子
• 通讯作者: 砂川有里子

What are the tasks? :Development of task-based Japanese beginner's textbook

任务是什么？

• 发表时间: 2019
• 作者: Li Wenxin;Reiko Sakata;Shingo Imai
• 通讯作者: Shingo Imai

新・日本語教育のためのコーパス調査入門

新日语教育语料库研究简介

• 发表时间: 2018
• 作者: 李在鎬;石川慎一郎
• 通讯作者: 石川慎一郎

日本語教育と研究に役立つコーパス調査の方法

对日语教育和研究有用的语料库研究方法

• 发表时间: 2018
• 作者: Masaru Tsuchida;Hirotaka Sato;Takahito Kawanishi;Kunio Kashino;and Keiji Yano;砂川有里子
• 通讯作者: 砂川有里子

日本語文型バンク

日语句型库