選択問題を活用した対話システム研究開発プロセスの刷新

利用选择题革新对话系统研发流程

• 批准号: 22KJ0198
• 负责人: 佐藤 志貴
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0198/
• 关键词: 自然言語処理; 計算言語学; 対話システム; 自動評価

本研究では，対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで，文脈は現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から，長期的文脈を有する対話の選択問題の構築と，誤り候補に対する誤り種類ラベル付与に取り組み始めた．まず，長期的文脈を有する対話の収集に取り掛かった．長期的文脈を持つ対話データは分野では少数しか収集されていない．そこで，ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し，提案方法により高品質な長期的文脈付き対話を収集した．次に，選択問題の選択肢の収集に取り掛かった．1年目の取り組みで，誤り種類のうち矛盾（文脈と相反する内容の発話を生成してしまう誤り）については，事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても，対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている．そこで，矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に，対話システムにより実際に生成される矛盾応答を収集することとした．具体的には，1年目で確立した，(i) 対話システムが矛盾を生成しやすい文脈の特定方法， (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する．現時点で，収集のためのフレームワークの構築と，小規模な予備収集実験が完了している．

在这项研究中，我们创建了一个框架，该框架可以根据选择错误的趋势自动分析对话系统，通过将错误类型标签添加到对话响应选择任务中的每个错误候选者中（解决了选择上下文的选择问题的任务，并根据选择错误的趋势，在这里进行了两种情况下，这些问题是在此上下文中的交换。从过去的其他对话中，我们开始为长期上下文的对话建立选择问题，并为候选人提供了错误类型。使用建议的方法收集了高质量的长期上下文对话。接下来，我开始为多项选择问题收集选项。在倡议的第一年中，已经发现，错误类型之间的不一致（与上下文相矛盾的语音产生的类型之间存在不一致之处），即使使用预先标记候选错误的选项，也使用了系统的响应生成趋势，在对话响应选择的框架框架响应范围内无法正确评估。因此，关于矛盾，我们决定收集对话系统实际上产生的矛盾响应，就像我们为解决对话的努力一样，该对话仅在第一年就具有短期背景。具体而言，我们结合了一种方法来确定对话系统可能会产生矛盾的环境，以及（ii）收集与第一年建立的长期背景部分相矛盾的系统话语的有效方法。当前，已经完成了一个收集框架和小规模的初步收集实验。

项目成果

Evaluating Dialogue Response Generation Systems via Response Selection with Well-chosen False Candidates

• DOI: 10.5715/jnlp.29.53
• 发表时间: 2022
• 期刊: Journal of Natural Language Processing
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Jun Suzuki;Kentaro Inui

N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models

神经响应生成模型中基于 N 最佳响应的矛盾意识分析

• 发表时间: 2022
• 期刊: Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Ryoko Tokuhisa;Jun Suzuki and Kentaro Inui
• 通讯作者: Jun Suzuki and Kentaro Inui

Bipartite-play Dialogue Collection for Practical Automatic Evaluation of Dialogue Systems

• DOI: 10.48550/arxiv.2211.10596
• 发表时间: 2022-11
• 作者: Shiki Sato;Yosuke Kishinami;Hiroaki Sugiyama;Reina Akama;Ryoko Tokuhisa;Jun Suzuki

程度を考慮したフォーマリティ変換のためのデータセットの収集と分析

用于学位感知形式转换的数据集收集和分析

• 发表时间: 2023
• 作者: 守屋彰二;岸波洋介;佐藤志貴;徳久良子;乾健太郎
• 通讯作者: 乾健太郎

Target-Guided Open-Domain Conversation Planning

• DOI: 10.48550/arxiv.2209.09746
• 发表时间: 2022-09
• 作者: Yosuke Kishinami;Reina Akama;Shiki Sato;Ryoko Tokuhisa;Jun Suzuki;Kentaro Inui