選択問題を活用した対話システム研究開発プロセスの刷新

点击翻译按钮获取中文摘要

本研究では，対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで，文脈は現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から，長期的文脈を有する対話の選択問題の構築と，誤り候補に対する誤り種類ラベル付与に取り組み始めた．まず，長期的文脈を有する対話の収集に取り掛かった．長期的文脈を持つ対話データは分野では少数しか収集されていない．そこで，ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し，提案方法により高品質な長期的文脈付き対話を収集した．次に，選択問題の選択肢の収集に取り掛かった．1年目の取り組みで，誤り種類のうち矛盾（文脈と相反する内容の発話を生成してしまう誤り）については，事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても，対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている．そこで，矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に，対話システムにより実際に生成される矛盾応答を収集することとした．具体的には，1年目で確立した，(i) 対話システムが矛盾を生成しやすい文脈の特定方法， (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する．現時点で，収集のためのフレームワークの構築と，小規模な予備収集実験が完了している．