权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

A spoken dialogue system based on estimation of mental state using multimodal processing

基于多模态处理心理状态估计的口语对话系统

基本信息

批准号：
15J07337
负责人：
井上昂治
金额：
$ 1.79万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2015
资助国家：
日本
起止时间：
2015-04-24 至 2018-03-31
项目状态：
已结题

项目摘要

人間とロボットとの対話において、ユーザである人間が抱く対話に対する興味や意欲といった心的状態の自動推定に取り組んだ。興味や意欲の指標として、対話エンゲージメントという概念を用いた。一方的にシステムが話すのではなく、ユーザの様子や態度に合わせて、柔軟に変化する対話システムを実現するためには、対話エンゲージメントの自動推定は不可欠な要素である。はじめに、対話データに対して、複数の評定者にエンゲージメントの度合いを判断してもらうことで正解データを作成した。次に、エンゲージメントの推定モデルとして、キャラクタという評定者の特性を考慮する統計的モデルを提案した。ただし、入力として、ユーザの聞き手のふるまいを用いた。具体的には、相槌、笑い、うなずき、視線のふるまいである。エンゲージメントの判断は主観的であるため、評定者によって判断結果が異なることがある。そこで、このキャラクタという潜在変数を導入することで、各評定者の判断結果をより精緻に推定することが可能になった。このモデルは、感情認識などの主観性を伴う他の認識タスクにも適用することができる。エンゲージメント推定モデルを、実際の対話ロボットで利用するために、リアルタイム推定の実現にも取り組んだ。具体的には、深層学習技術を用いて、入力であるふるまいの自動検出モデルを実装し、これをエンゲージメント推定モデルと統合した。その結果、エンゲージメント推定の精度を保ちつつ、リアルタイムでの推定が可能であることを確認した。最後に、リアルタイムエンゲージメント推定システムを自律型アンドロイドＥＲＩＣＡの対話システム上へ実装し、研究室紹介のデモンストレーションを行った。ここでは、アンドロイドＥＲＩＣＡが研究室について紹介をするという設定で、来訪者であるユーザのエンゲージメントを自動的に推定し、これに応じてＥＲＩＣＡのふるまいを動的に変化させるものである。

The automatic inference of the state of the human heart The concept of interest and desire is used. A party's speech, speech, attitude, flexibility, speech, speech, The answer is yes. Next, the estimation of the number of people who are evaluated should be considered. The first time I saw you, I was in the middle of something. Specific, phase hammer, smile,, line of sight.エンゲージメントの判断は主観的であるため、评定者によって判断结果が异なることがある。The result of each evaluator's judgment is refined and inferred. This is the first time that I've ever seen someone who's been in a relationship with someone else. For example, if a person has a right to a job, he or she may not be able to get a job. Specific deep learning techniques are used in the process of integration and integration. The accuracy of the estimation is guaranteed, and the estimation is possible. At last, the paper introduces the design of automatic model and ERICA model. This is the first time that ERICA has been involved in the study. It is the first time that ERICA has been involved in the study.