权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ニューラル言語モデルからの文法の抽出に関する研究

神经语言模型语法提取研究

基本信息

批准号：
20K19877
负责人：
能地宏
金额：
$ 2.66万
依托单位：
National Institute of Advanced Industrial Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2022-03-31
项目状态：
已结题

项目摘要

自然言語処理に対するニューラルネットワークに基づくモデルとして、LSTMやTransformerなどの言語を系列として扱うモデルの有用性が高く示されているものの、言語のもつ階層構造を陽にモデル化していないことから、言語モデルとしての限界も指摘されている。本研究の目的はもともと、言語のもつ統語構造の教師なし学習を可能とするモデルを構築することで、より正確な統語構造の認識を可能にする言語モデルを実現することであった。その結果、研究期間中には、最終的な教師なし学習までは実現することができなかったものの、統語構造を扱う言語モデルに対する新しい学習法、及び推論法の確立を行うことができ、本目的に対して非常に重要かつ大きな貢献を行うことができた。具体的に、本研究の一番の成果は、リカレントニューラルネットワークグラマー（RNNG）と呼ばれる、統語構造のニューラルネットワークに基づく生成モデルに対して、新しく非常に効率的な学習法を提案し、論文発表を行い、ソフトウェアの公開を行なった点である。既存の実装と比較して、学習時に6倍程度以上の高速化を実現することができた。この成果はRNNGモデルを様々な応用に適用する可能性を押し広げるものである。またより広く、構造を陽に扱うモデルに対してミニバッチの新しい構成法に基づく効率的な学習を行う指針を示したとも言える。このような点が評価され、本成果は第27回言語処理学会年次大会で最優秀賞を受賞した他、最難関国際会議のACLに論文が採択された。2年度は、RNNGに関する研究をさらに推し進め、RNNGが統語構造を正しく認識するために必要なモデルに与えるアノテーションの量について検討を行なった。その結果、既存の教師データの全ての統語構造を与えるのは、最適ではなく、長い依存構造を正確に捉えるために一部の構造のみを与えた方が逆に性能が向上する、という点を明らかにした。

Natural speech processing is highly useful for speech processing, speech processing and speech processing. The purpose of this study is to explore the possibility of language construction for teachers to learn, and the possibility of understanding the correct language construction for teachers to learn. The results, the research period, the final teacher, the learning process, the language structure, the language structure, the new learning method, and the inference method are very important to the purpose. The specific results of this study include: the establishment of a system of language structures, and the establishment of a system of language structures. Compared with the existing equipment, the speed of learning is more than 6 times. The results of this study are based on the possibility of using the RNNG as a tool. A new method of constructing a structure is proposed. This work was reviewed at the 27th Annual Conference of the Speech Processing Society and was presented at the ACL Conference. In 2002, RNNG related research was promoted, RNNG related language structure was recognized, and necessary research was conducted. The result is that the existing teacher's whole language structure is opposite to the original one, and the long dependent structure is opposite to the original one.