語句の意味推定モデルとのマルチタスク学習に基づく世界知識を考慮した対話システム

本研究における課題は，訓練データが十分に得られないような状況でいかにして頑健なモデルを学習するかにある．特に，本研究で対象とする対話や翻訳などのテキスト生成を必要とするタスクにおいては，タスクの複雑さから数十万から数千万件以上の入力－出力対（パラレルコーパス）を必要とすることも多く，機械学習技術を用いた自然言語処理の実用化の際，大きな障害となる．今年度の活動としては，専門的なドメインにおいて小規模なデータのみ利用可能であるような状況を想定し，一般ドメインの大規模データで学習を行ったモデルに対してドメイン特有の語彙や意味の処理を可能にする手法の提案を行った．　具体的には，目標ドメインの生コーパスからの教師なし学習によって獲得した語彙および単語埋め込みを，訓練済みテキスト生成モデルの空間に対して写像することで，パラレルコーパスに含まれない語彙の処理を可能にしている．加えて今年度は，雑談対話における出力多様化の研究も並行して行った．雑談対話において，「こんにちは」，「そうですね」，などといった汎用的な面白みのない応答を頻繁に出力する事が近年問題として取り上げられている．こうした汎用的な応答が頻発することによって，ユーザが継続的に対話システムを利用するモチベーションの低下が生じるだけでなく，本研究の主目的である，モデルに対する世界知識・ドメイン知識の付与の障害にもなり得る．例えば，何らかの手法によってモデルに対して世界知識や専門ドメインの語彙・意味を与えることが可能になったとしても，モデルが汎用的な応答を過度に優先して出力する限り，そうした知識が生かされる事は少なく，何をどこまで理解しているのかの分析も困難となる． そこで，　この研究では条件付き変分オートエンコーダ（CVAE）と呼ばれるテキスト生成モデルを用いた上で，その学習プロセスの改良を行った．

本研究における課題は，訓練データが十分に得られないような状況でいかにして頑健なモデルを学習するかにある．特に，本研究で対象とする対話や翻訳などのテキスト生成を必要とするタスクにおいては，タスクの複雑さから数十万から数千万件以上の入力－出力対（パラレルコーパス）を必要とすることも多く，機械学習技術を用いた自然言語処理の実用化の際，大きな障害となる．今年度の活動としては，専門的なドメインにおいて小規模なデータのみ利用可能であるような状況を想定し，一般ドメインの大規模データで学習を行ったモデルに対してドメイン特有の語彙や意味の処理を可能にする手法の提案を行った．　具体的には，目標ドメインの生コーパスからの教師なし学習によって獲得した語彙および単語埋め込みを，訓練済みテキスト生成モデルの空間に対して写像することで，パラレルコーパスに含まれない語彙の処理を可能にしている．加えて今年度は，雑談対話における出力多様化の研究も並行して行った．雑談対話において，「こんにちは」，「そうですね」，などといった汎用的な面白みのない応答を頻繁に出力する事が近年問題として取り上げられている．こうした汎用的な応答が頻発することによって，ユーザが継続的に対話システムを利用するモチベーションの低下が生じるだけでなく，本研究の主目的である，モデルに対する世界知識・ドメイン知識の付与の障害にもなり得る．例えば，何らかの手法によってモデルに対して世界知識や専門ドメインの語彙・意味を与えることが可能になったとしても，モデルが汎用的な応答を過度に優先して出力する限り，そうした知識が生かされる事は少なく，何をどこまで理解しているのかの分析も困難となる． そこで，　この研究では条件付き変分オートエンコーダ（CVAE）と呼ばれるテキスト生成モデルを用いた上で，その学習プロセスの改良を行った．