权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

汎言語的単語分割・並び替えに基づく多様な言語・タスクに適用可能な多言語モデル

基于泛语言分词和排序的适用于多种语言和任务的多语言模型

基本信息

批准号：
20J13810
负责人：
佐久間仁
金额：
$ 1.34万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13810/
关键词：
自然言語処理多言語モデル多言語単語分散表現表現学習

项目摘要

本研究では、自然言語処理技術を幅広い言語において適用可能とするための技術開発を行った。近年広く用いられている深層学習などの統計的手法は莫大な言語資源を必要とし、言語資源の少ない言語においては適用できない。そこで既存研究においては、複数言語の単一のモデルで扱う多言語モデルを活用することで、言語資源の言語横断的な活用を可能とし、資源の少ない言語での処理性能の向上を目指している。しかし、特に言語学的に距離の遠い言語間では多言語モデルの性能が大きく低下することが知られている。多言語モデルの本質的な精度向上のため、どのような言語間の差異が多言語モデルの精度低下を招くのかを深く理解する必要がある。そのため、本研究では、文法・単語分割・単語の多義性の３つの言語の側面について、擬似的なコーパスを活用しそれぞれが多言語モデルに与える影響を評価した。具体的には、一つの英語の生コーパスを2つに分割し、一方に対して特定の側面のみを変化させるような編集を行い、擬似的な言語の生コーパスを作成した。これらのコーパス上で多言語モデルの学習・評価を行うことで、各言語的側面の与える影響を評価した。ここで得られた知見をもとに多言語モデルの獲得手法を構築することで、より高性能な多言語モデルの獲得が可能になると期待される。また、言語間の文法の差を吸収することで多言語モデルの性能向上を目指す研究を行った。具体的には、事前学習済みの多言語BERTモデルに、文法構造を処理する特別なモジュールを追加することで、モデルが言語依存性の低い係り受け構造を活用することを促進し、文法の差の影響を軽減する手法の開発を行った。更に、昨年度までの研究において開発した多言語モデルの性能向上手法を、機械翻訳のドメイン適応に応用する研究を行い、特に離れたドメイン間で機械翻訳モデルのドメイン適用を可能とする手法を構築した。

This research is based on the possible application of natural language processing technology and the application of natural language processing technology. In recent years, 広く has been using deep learning and statistical techniques to learn and use statistics, and the language resources are very necessary and the language resources are small and the language is applicable.そこでExisting research においては, plural language の単一のモデルでうmulti-language モデルをflexible use することで, 语The possible use of language resources and language transversal are possible, and the improvement of language processing performance is the improvement of language resources.しかし、Special linguistics にdistance のFar between words では Multilingual モデルのperformance が大きくlow することが知られている. The essence of multilingual language is that the accuracy is high, and the difference between languages is that the multilingual language is low in accuracy, and the understanding is necessary.そのため、This studyでは、Grammar·Silk segmentation·Simultaneous polysemyの３つの语のlateral sideについて, The similar なコーパスを uses the しそれぞれがmulti-language モデルに and the える influence を Comment価した. Specific には、一つのEnglishの生コーパスを2つにdividedし、One side に対してspecific のlateral The surface of the face is changed, the story is edited, and the story of the similar language is made.これらのコーパス上でmulti-lingual モデルの学・综合価を行うことで, the side の and えるimpact を価した of each language.ここで得られた知见をもとにmultilingual モデルのgetting techniqueをconstruct することで、よりHigh-performance multi-language モデルのReceived がpossibleになるとLooking forward to される.また, grammatical difference between languages absorbs することでmulti-language モデルのperformance upward をocular finger す research を行った. Specific instructions, advance learning of the multi-lingual BERT program, grammatical structure processing program, special program, additional programs,モデルがThe language dependence is low and the system is influenced by the structure and the structure is utilized and promoted, and the grammar is affected by the difference and the technique is opened and the line is opened. Update, last year's research on the multi-language multi-language performance improvement method, mechanical translation of the new technology Use the する research を line い, the special にれたドメインでMechanical translation 訳モデルのドメイン applicable をとする technique を construction した.