汎言語的単語分割・並び替えに基づく多様な言語・タスクに適用可能な多言語モデル

本研究では、自然言語処理技術を幅広い言語において適用可能とするための技術開発を行った。近年広く用いられている深層学習などの統計的手法は莫大な言語資源を必要とし、言語資源の少ない言語においては適用できない。そこで既存研究においては、複数言語の単一のモデルで扱う多言語モデルを活用することで、言語資源の言語横断的な活用を可能とし、資源の少ない言語での処理性能の向上を目指している。しかし、特に言語学的に距離の遠い言語間では多言語モデルの性能が大きく低下することが知られている。多言語モデルの本質的な精度向上のため、どのような言語間の差異が多言語モデルの精度低下を招くのかを深く理解する必要がある。そのため、本研究では、文法・単語分割・単語の多義性の３つの言語の側面について、擬似的なコーパスを活用しそれぞれが多言語モデルに与える影響を評価した。具体的には、一つの英語の生コーパスを2つに分割し、一方に対して特定の側面のみを変化させるような編集を行い、擬似的な言語の生コーパスを作成した。これらのコーパス上で多言語モデルの学習・評価を行うことで、各言語的側面の与える影響を評価した。ここで得られた知見をもとに多言語モデルの獲得手法を構築することで、より高性能な多言語モデルの獲得が可能になると期待される。また、言語間の文法の差を吸収することで多言語モデルの性能向上を目指す研究を行った。具体的には、事前学習済みの多言語BERTモデルに、文法構造を処理する特別なモジュールを追加することで、モデルが言語依存性の低い係り受け構造を活用することを促進し、文法の差の影響を軽減する手法の開発を行った。更に、昨年度までの研究において開発した多言語モデルの性能向上手法を、機械翻訳のドメイン適応に応用する研究を行い、特に離れたドメイン間で機械翻訳モデルのドメイン適用を可能とする手法を構築した。

本研究では、自然言語処理技術を幅広い言語において適用可能とするための技術開発を行った。近年広く用いられている深層学習などの統計的手法は莫大な言語資源を必要とし、言語資源の少ない言語においては適用できない。そこで既存研究においては、複数言語の単一のモデルで扱う多言語モデルを活用することで、言語資源の言語横断的な活用を可能とし、資源の少ない言語での処理性能の向上を目指している。しかし、特に言語学的に距離の遠い言語間では多言語モデルの性能が大きく低下することが知られている。多言語モデルの本質的な精度向上のため、どのような言語間の差異が多言語モデルの精度低下を招くのかを深く理解する必要がある。そのため、本研究では、文法・単語分割・単語の多義性の３つの言語の側面について、擬似的なコーパスを活用しそれぞれが多言語モデルに与える影響を評価した。具体的には、一つの英語の生コーパスを2つに分割し、一方に対して特定の側面のみを変化させるような編集を行い、擬似的な言語の生コーパスを作成した。これらのコーパス上で多言語モデルの学習・評価を行うことで、各言語的側面の与える影響を評価した。ここで得られた知見をもとに多言語モデルの獲得手法を構築することで、より高性能な多言語モデルの獲得が可能になると期待される。また、言語間の文法の差を吸収することで多言語モデルの性能向上を目指す研究を行った。具体的には、事前学習済みの多言語BERTモデルに、文法構造を処理する特別なモジュールを追加することで、モデルが言語依存性の低い係り受け構造を活用することを促進し、文法の差の影響を軽減する手法の開発を行った。更に、昨年度までの研究において開発した多言語モデルの性能向上手法を、機械翻訳のドメイン適応に応用する研究を行い、特に離れたドメイン間で機械翻訳モデルのドメイン適用を可能とする手法を構築した。