対話タスク・ユーザに適したキャラクタを表現する音声対話システム

表达适合对话任务和用户的字符的语音对话系统

• 批准号: 20J22284
• 负责人: 山本 賢太
• 金额: $ 1.6万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J22284/
• 关键词: 音声対話システム; 対話ロボット; キャラクタ; パーソナリティ; 対話のふるまい

この研究では、対話のタスク・ユーザに適したキャラクタ表現を行う音声対話システムの構築に取り組んだ。このモデル構築のためには、対話のタスクに適切なキャラクタ表現方法とユーザが話しやすいと感じるキャラクタの表現方法を明らかにする必要がある。本研究のキャラクタとはシステムの対話におけるふるまいに一貫性を持たせることで表現される個性である。キャラクタが対話に与える影響を分析するため対話コーパスにキャラクタ印象のアノテーションを実施した。このデータの分析結果から、キャラクタを代表的な4クラスに分類することで、話者のキャラクタの組み合わせが対話相手との相性に関する印象と関係していることを明らかにした。この関係性をモデル化するために、研究紹介と雑談という2種類の対話タスクで、対話のふるまい制御により4クラスのキャラクタを表現するモデルを構築した。このモデルを自律型アンドロイドERICAに実装し、タスク・ユーザに応じた最適なキャラクタの表現方法を調査する被験者実験を実施した。具体的には、パーソナリティ尺度であるBigFiveの評定結果を用いて被験者を4クラスに分類し、被験者のパーソナリティのクラスと音声対話システムとキャラクタとの組み合わせごとに対話に対する印象評定結果を分析した。実験結果から、研究紹介を担うシステムには外向的なキャラクタが適切であると評価された。一方で、雑談対話のような自由度の高い対話では、協調的なシステムが好まれる傾向があった。また、両対話においてユーザ自身と類似したキャラクタを表現するシステムに対しては、システムが被験者に合わせて話してくれていると感じることが確認された。これまでの研究結果とあわせて、音声対話システムにおいてタスク・ユーザに適したキャラクタ表現が対話の満足度の向上に有効であることが示された。

こ の research で は, polices の タ ス ク · ユ ー ザ に optimum し た キ ャ ラ ク タ line performance を う sounds of words シ seaborne ス テ ム の build に group take り ん だ. こ の モ デ ル build の た め に は, polices の タ ス ク に appropriate な キ ャ ラ ク タ representations と ユ ー ザ が words し や す い と feeling じ る キ ャ ラ ク タ の representations を Ming ら か に す る necessary が あ る. This study の キ ャ ラ ク タ と は シ ス テ ム の words に seaborne お け る ふ る ま い に consistency を hold た せ る こ と で performance さ れ る personality で あ る. キ ャ ラ ク タ が words に and seaborne え る influence を す る た め words コ seaborne ー パ ス に キ ャ ラ ク タ impression の ア ノ テ ー シ ョ ン を be applied し た. こ の デ ー タ の analysis results か ら, キ ャ ラ ク タ を representative な 4 ク ラ ス に classification す る こ と で, words の キ ャ ラ ク タ の group み close わ せ が words hand seaborne と の photograph sex に masato す る impression と masato is し て い る こ と を Ming ら か に し た. こ の masato is sexual を モ デ ル change す る た め に, research introduce と 雑 talk と い う 2 kinds の words タ seaborne ス ク で, polices の ふ る ま い suppression に よ り 4 ク ラ ス の キ ャ ラ ク タ を performance す る モ デ ル を build し た. Type こ の モ デ ル を self-discipline ア ン ド ロ イ ド ERICA に be し, タ ス ク · ユ ー ザ に 応 じ た optimum な キ ャ ラ ク タ の representations を survey す る by 験 be 験 を be applied し た. Specific に は, パ ー ソ ナ リ テ ィ scale で あ る BigFive の evaluation results を い て by 験 を 4 ク ラ ス に classification し, those 験 の パ ー ソ ナ リ テ ィ の ク ラ ス と sounds of words シ seaborne ス テ ム と キ ャ ラ ク タ と の group み close わ せ ご と に words に seaborne seaborne す る impression evaluation results を し た. The experimental results are ら, the research introduction is を, the support is うシステムに, the extroversion is なキャラ, the タが is タが, the appropriateness is であると, and the evaluation is 価された. One party で, 雑, converses ような, has a high degree of freedom <e:1>, <s:1> converses で, なシステムが is good for coordination, まれる tends to があった. ま た, struck words に seaborne お い て ユ ー ザ itself と similar し た キ ャ ラ ク タ を performance す る シ ス テ ム に し seaborne て は, シ ス テ ム が by 験 に close わ せ て words し て く れ て い る と feeling じ る こ と が confirm さ れ た. こ れ ま で の results と あ わ せ て, sounds of words シ seaborne ス テ ム に お い て タ ス ク · ユ ー ザ に optimum し た キ ャ ラ ク タ performance が words の seaborne の に up to its full degree has sharper で あ る こ と が shown さ れ た.

项目成果

Semi-supervised learning for character expression of spoken dialogue systems

口语对话系统字符表达的半监督学习

• 发表时间: 2020
• 作者: Mikihiro Ikura;Sarthak Pathak;Atsushi Yamashita;Hajime Asama;Kenta Yamamoto
• 通讯作者: Kenta Yamamoto

Character expression for spoken dialogue systems with semi-supervised learning using Variational Auto-Encoder

使用变分自动编码器进行半监督学习的口语对话系统的字符表达

• DOI: 10.1016/j.csl.2022.101469
• 发表时间: 2023
• 期刊: Computer Speech & Language
• 影响因子: 4.3
• 作者: Yamamoto Kenta;Inoue Koji;Kawahara Tatsuya
• 通讯作者: Kawahara Tatsuya

音声対話システムのユーザ適応に向けたパーソナリティの関係性の分析

口语对话系统用户适应的人格关系分析

• 发表时间: 2021
• 作者: Mikihiro Ikura;Florian Walter;Alois Knoll;山本賢太;山本賢太
• 通讯作者: 山本賢太

Character adaptation of spoken dialogue systems based on user personality

基于用户个性的口语对话系统的人物适配

• 发表时间: 2023
• 作者: Mikihiro Ikura;Sarthak Pathak;Jun Younes Louhi Kasahara;Atsushi Yamashita;Hajime Asama;Kenta Yamamoto
• 通讯作者: Kenta Yamamoto

音声対話システムによる雑談対話における キャラクタ表現に基づくユーザ適応の検討

语音对话系统闲聊对话中基于人物表达的用户自适应研究

• 发表时间: 2022
• 作者: Mikihiro Ikura;Florian Walter;Alois Knoll;山本賢太
• 通讯作者: 山本賢太