語句の意味推定モデルとのマルチタスク学習に基づく世界知識を考慮した対話システム

基于词义估计模型的多任务学习考虑世界知识的对话系统

• 批准号: 19J14522
• 负责人: 佐藤 翔悦
• 金额: $ 1.47万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J14522/
• 关键词: 自然言語処理; 機械学習; テキスト生成; 転移学習; 対話応答; 機械翻訳; ドメイン適応; ニューラルネットワーク; 定義文生成; 未知語; 個人適応; 分散表現; 知識ベース

本研究における課題は，訓練データが十分に得られないような状況でいかにして頑健なモデルを学習するかにある．特に，本研究で対象とする対話や翻訳などのテキスト生成を必要とするタスクにおいては，タスクの複雑さから数十万から数千万件以上の入力－出力対（パラレルコーパス）を必要とすることも多く，機械学習技術を用いた自然言語処理の実用化の際，大きな障害となる．今年度の活動としては，専門的なドメインにおいて小規模なデータのみ利用可能であるような状況を想定し，一般ドメインの大規模データで学習を行ったモデルに対してドメイン特有の語彙や意味の処理を可能にする手法の提案を行った．　具体的には，目標ドメインの生コーパスからの教師なし学習によって獲得した語彙および単語埋め込みを，訓練済みテキスト生成モデルの空間に対して写像することで，パラレルコーパスに含まれない語彙の処理を可能にしている．加えて今年度は，雑談対話における出力多様化の研究も並行して行った．雑談対話において，「こんにちは」，「そうですね」，などといった汎用的な面白みのない応答を頻繁に出力する事が近年問題として取り上げられている．こうした汎用的な応答が頻発することによって，ユーザが継続的に対話システムを利用するモチベーションの低下が生じるだけでなく，本研究の主目的である，モデルに対する世界知識・ドメイン知識の付与の障害にもなり得る．例えば，何らかの手法によってモデルに対して世界知識や専門ドメインの語彙・意味を与えることが可能になったとしても，モデルが汎用的な応答を過度に優先して出力する限り，そうした知識が生かされる事は少なく，何をどこまで理解しているのかの分析も困難となる． そこで，　この研究では条件付き変分オートエンコーダ（CVAE）と呼ばれるテキスト生成モデルを用いた上で，その学習プロセスの改良を行った．

This study aims to train students to learn from the best of their abilities. In particular, this study aims to improve the quality of natural speech processing by improving the quality of speech processing. During this year's event, we will consider the possible use of small-scale data in various equipment, and propose methods for learning large-scale data in general equipment and making it possible to handle the words and meanings unique to equipment. Specifically, the purpose of this study is to create a space for teachers to learn, to acquire, to train, to generate, to write, to process, and to process words. This year's study will focus on research and development. In recent years, there have been many problems in the field of education. The main purpose of this study is to obtain the knowledge of the world, the knowledge of the world and the knowledge of the world. For example, how to use the method to solve the problem of word meaning in the world knowledge, how to solve the problem of word meaning, how to solve the problem In this paper, the author studies the improvement of CVAE (CVAE) and CVAE (CVAE).

项目成果

Understanding Interpersonal Variations in Word Meanings via Review Target Identification

通过复习目标识别来理解词义的人际变化

• 发表时间: 2019
• 作者: Daisuke Oba;Naoki Yoshinaga;Shoetsu Sato;Satoshi Akasaki;Masashi Toyoda;佐藤 翔悦;Shoetsu Sato;Shonosuke Ishiwatari;Daisuke Oba;佐藤 翔悦;Daisuke Oba
• 通讯作者: Daisuke Oba

潜在変数の投機的サンプリングに基づく多様な雑談応答生成

基于潜在变量的推测性采样生成多样化的聊天响应

• 发表时间: 2021
• 作者: Daisuke Oba;Naoki Yoshinaga;Shoetsu Sato;Satoshi Akasaki;Masashi Toyoda;佐藤 翔悦
• 通讯作者: 佐藤 翔悦

Modeling Personal Biases in Language Use by Inducing Personalized Word Embeddings

• DOI: 10.18653/v1/n19-1215
• 发表时间: 2019-06
• 作者: Daisuke Oba;Naoki Yoshinaga;Shoetsu Sato;Satoshi Akasaki;Masashi Toyoda

Vocabulary Adaptation for Domain Adaptation in Neural Machine Translation

• DOI: 10.18653/v1/2020.findings-emnlp.381
• 发表时间: 2020-04
• 作者: Shoetsu Sato;Jin Sakuma;Naoki Yoshinaga;Masashi Toyoda;M. Kitsuregawa

語彙切換に基づくニューラル機械翻訳の遠ドメイン適応

基于词汇切换的神经机器翻译远域自适应

• 发表时间: 2019
• 作者: Daisuke Oba;Naoki Yoshinaga;Shoetsu Sato;Satoshi Akasaki;Masashi Toyoda;佐藤 翔悦;Shoetsu Sato;Shonosuke Ishiwatari;Daisuke Oba;佐藤 翔悦
• 通讯作者: 佐藤 翔悦