权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

文書の自動難易度判定に関する研究

文档难度自动判定研究

基本信息

批准号：
20650018
负责人：
石井久美子
金额：
$ 2.11万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Exploratory Research
财政年份：
2008
资助国家：
日本
起止时间：
2008 至 2010
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20650018/
关键词：
自然言語処理語学学習情報分類機械学習情報抽出語学教育

项目摘要

本研究では、機械学習に基づく文書難易度判定の新しい手法を提案し、ある文書をユーザが与えると、その文書と難易度的に類似する文書を主要新聞記事サイトから獲得し、ユーザに提示するweb上のシステムを作ることを目的とした。既存研究としては、分類、あるいは回帰によるモデル化が行われてきたが、これでは、学習に必要な正解データを多言語で十分に確保することは難しい。本研究では、文書集合が与えられたときに、その集合に順序構造を導入することで難易度判定を行うことを提案した。検証は英日両方で行い、実際のシステムは英語、日本語で稼働させ、さらに中国語やスペイン語での構築を試みた。アイデアの根本部分については、有効性が十分検証され、言語処理分野の世界的な最高峰の英文論文誌Computational Linguisticsの論文として、採録となり、分野においてこれ以上の学術的な成果はないと考える。最終年度は、アイデアに関わる付随問題の検討に費やされた。まず、提案手法をより広い視野としての機械学習手法、語学学習の中で位置付け、この点を上記論文に加筆し、論文は6月に出版された。また、素性に相対頻度以外の統計量を追加し、アイデアの検証を行った。その背景には、本研究のための基礎研究があり、それらはいずれも雑誌論文として最終年度に出版するに至ったものである。第一は、莫大量のデータで計測された単語頻度が単語の難易度とどの程度相関するかを検証した。第二に、文書の複雑さを表す指標について研究を行った。これら二種類の指標と、文法的特性に関する指標などを追加して根幹アイデアを再検証し、実際に精度が向上することが示された。プロトタイプシステムは、実用に向けての再実装を行ったが、公開するには至っていない。というのも、検索対象として想定していたのは新聞で日々クロールされ集められるが、その難易度は均質にすぎ、検索対象としてのデータとして十分に難易度が異なるものではなかったのである。つまり、検索の対象とするデータが十分に得られないという予想外の問題が起きたため、システムは公開には至らなかった。この点は、たとえばユーザが文書を提供し合うなどソーシャルな枠組みなどを新たに考案する必要があるであろう。本研究は最初の2年間で最も重要な研究部分を終え、三年目は実用化のための機器類以外にはさほど費用を必要としなかった。このため、最終年度は残余分を返却するが、研究成果としては十二分に挙がったと自負している。最後に、3年間ご支援いただいた、本科研に関わる審査員や事務の皆様に、心より感謝申し上げます。

This study proposes a new method for determining the difficulty of a document based on mechanical learning, and the purpose of determining the difficulty of a document based on mechanical learning. Existing research, classification, and analysis are necessary to ensure that In this paper, the author proposes to introduce the difficulty of determining the order structure of the set of documents English, Japanese, Chinese, English, Chinese, Chinese, English, Chinese, Spanish, Spanish, The fundamental part of speech processing is the highest peak in the world of Computational Linguistics. The final year is due to the payment of fees due to the issue. The paper was published in June. Statistics other than the frequency of primes are added to the test results. The background of this study is to publish the paper in the final year. The first is to measure the frequency of a single language and the degree of difficulty of the language. Second, the document and the index are used for research. The two types of indicators, syntax characteristics of the indicators, add the root cause of failure, the actual accuracy of the upward indication The most important thing is that the government should take measures to protect the interests of the people. In the middle of the day, the search object is determined, and the difficulty of the search object is uniform. The question of whether the search should be open to the public This is the first time I have ever seen such a thing. The most important part of this study is the end of the first two years, and the third year is the end of the machine. The results of this research are as follows: In the last three years, we have received support from all the reviewers involved in this research, and we are grateful to you for your support.

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

文書量に不変な定数:YuleのK、GolcherのVM

与文档体积无关的常数：Yules K、Golchers VM

DOI：
发表时间：
2011
期刊：
自然言語処理
影响因子：
0
作者：
木村大翼;田中久美子
通讯作者：
田中久美子

こころと言葉言語の文節に普遍的に観察される統計的性質音素から形態素へ、単語へ、そして句

心灵和语言语言段落中普遍观察到的统计特性从音素到语素到单词到短语

DOI：
发表时间：
2008
期刊：
影响因子：
0
作者：
手塚智史;寺田博視;田中久美子;田中久美子長谷川寿一監修
通讯作者：
田中久美子長谷川寿一監修

Word familiarity and frequency

单词熟悉度和频率

DOI：
发表时间：
2011
期刊：
Studia Linguistica
影响因子：
0.6
作者：
義久智樹;高橋真喜人;藤田直生;塚本昌彦;Tomohiro Okuyama;Kumiko Tanaka-Ishii and Hiroshi Terada
通讯作者：
Kumiko Tanaka-Ishii and Hiroshi Terada

Sorting by Readability

按可读性排序