ニューラル言語モデルからの文法の抽出に関する研究

点击翻译按钮获取中文摘要

自然言語処理に対するニューラルネットワークに基づくモデルとして、LSTMやTransformerなどの言語を系列として扱うモデルの有用性が高く示されているものの、言語のもつ階層構造を陽にモデル化していないことから、言語モデルとしての限界も指摘されている。本研究の目的はもともと、言語のもつ統語構造の教師なし学習を可能とするモデルを構築することで、より正確な統語構造の認識を可能にする言語モデルを実現することであった。その結果、研究期間中には、最終的な教師なし学習までは実現することができなかったものの、統語構造を扱う言語モデルに対する新しい学習法、及び推論法の確立を行うことができ、本目的に対して非常に重要かつ大きな貢献を行うことができた。具体的に、本研究の一番の成果は、リカレントニューラルネットワークグラマー（RNNG）と呼ばれる、統語構造のニューラルネットワークに基づく生成モデルに対して、新しく非常に効率的な学習法を提案し、論文発表を行い、ソフトウェアの公開を行なった点である。既存の実装と比較して、学習時に6倍程度以上の高速化を実現することができた。この成果はRNNGモデルを様々な応用に適用する可能性を押し広げるものである。またより広く、構造を陽に扱うモデルに対してミニバッチの新しい構成法に基づく効率的な学習を行う指針を示したとも言える。このような点が評価され、本成果は第27回言語処理学会年次大会で最優秀賞を受賞した他、最難関国際会議のACLに論文が採択された。2年度は、RNNGに関する研究をさらに推し進め、RNNGが統語構造を正しく認識するために必要なモデルに与えるアノテーションの量について検討を行なった。その結果、既存の教師データの全ての統語構造を与えるのは、最適ではなく、長い依存構造を正確に捉えるために一部の構造のみを与えた方が逆に性能が向上する、という点を明らかにした。