選択問題を活用した対話システム研究開発プロセスの刷新

利用选择题革新对话系统研发流程

• 批准号: 22KJ0198
• 负责人: 佐藤 志貴
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0198/
• 关键词: 自然言語処理; 計算言語学; 対話システム; 自動評価

本研究では，対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで，文脈は現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から，長期的文脈を有する対話の選択問題の構築と，誤り候補に対する誤り種類ラベル付与に取り組み始めた．まず，長期的文脈を有する対話の収集に取り掛かった．長期的文脈を持つ対話データは分野では少数しか収集されていない．そこで，ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し，提案方法により高品質な長期的文脈付き対話を収集した．次に，選択問題の選択肢の収集に取り掛かった．1年目の取り組みで，誤り種類のうち矛盾（文脈と相反する内容の発話を生成してしまう誤り）については，事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても，対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている．そこで，矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に，対話システムにより実際に生成される矛盾応答を収集することとした．具体的には，1年目で確立した，(i) 対話システムが矛盾を生成しやすい文脈の特定方法， (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する．現時点で，収集のためのフレームワークの構築と，小規模な予備収集実験が完了している．

In this study, we aim to construct an automatic analysis system for the selection of speech errors, including candidate errors, error types, etc., in response to speech selection problems (context appropriate speech selection problems, speech selection problems, etc.). The context is present, the context is present, and the context is present. This year, the long-term context of the selection of questions to build, error candidate to type of error to pay and select the beginning. A long-term context exists for the collection of words. The long-term context of the conversation is divided into a few groups. A method for creating a multi-medium-term context and a short-term context is proposed, and a method for collecting high-quality long-term context is proposed. Second, the selection of the selection of the problem set is selected from the group of 1 years, the type of error is contradictory (context and opposite content of the speech generation is wrong), the selection of the problem set in advance is wrong, the candidate is wrong, the selection of the problem set is wrong, the answer to the problem set is wrong, the answer generation tendency of the problem set is appropriate, the evaluation is right. The contradiction is related to the short-term context of the year. Specifically, the first year of the project is established,(i) the conflict generation and context specific methods for the conflict generation,(ii) the conflict efficiency collection methods for the long-term context part of the conflict generation and context collection. At present, the collection of the collection of the construction of small scale to prepare for the collection of complete.

项目成果

Evaluating Dialogue Response Generation Systems via Response Selection with Well-chosen False Candidates

• DOI: 10.5715/jnlp.29.53
• 发表时间: 2022
• 期刊: Journal of Natural Language Processing
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Jun Suzuki;Kentaro Inui

N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models

神经响应生成模型中基于 N 最佳响应的矛盾意识分析

• 发表时间: 2022
• 期刊: Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Ryoko Tokuhisa;Jun Suzuki and Kentaro Inui
• 通讯作者: Jun Suzuki and Kentaro Inui

Target-Guided Open-Domain Conversation Planning

• DOI: 10.48550/arxiv.2209.09746
• 发表时间: 2022-09
• 作者: Yosuke Kishinami;Reina Akama;Shiki Sato;Ryoko Tokuhisa;Jun Suzuki;Kentaro Inui

感想付きニュース雑談対話コーパスの構築

带有印象的新闻聊天对话语料库构建

• 发表时间: 2023
• 作者: 成田風香;佐藤志貴;赤間怜奈;乾健太郎
• 通讯作者: 乾健太郎

人間同士の雑談における話題遷移モデリング

人类聊天中的主题转换建模

• 发表时间: 2023
• 作者: 岸波 洋介;赤間 怜奈;佐藤 志貴;徳久 良子;鈴木 潤;乾 健太郎
• 通讯作者: 乾 健太郎