权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

未習熟ユーザを補助するマルチモーダル対話システムの研究

辅助无经验用户的多模态对话系统研究

基本信息

批准号：
14J03989
负责人：
千葉祐弥
金额：
$ 1.22万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2014
资助国家：
日本
起止时间：
2014-04-25 至 2016-03-31
项目状态：
已结题

项目摘要

平成27年度より，ユーザを補助する対話システムに有用なユーザの状態として，システムが提示した話題に関するユーザの対話意欲を定義し，人間同士のインタビュー対話を用いて識別に有効なマルチモーダル特徴量の分析を行っている．以前の検討では，音声データの収録に関して問題があったため，7名の人間同士のインタビュー対話データを新たに収集し，マルチモーダル特徴量を抽出した．分析では，昨年度同様，言語情報として回答者の発話の書き起こしから得られた品詞情報，音声情報として基本周波数 (F0)およびパワー，画像情報として表情と身振りの変動を採用した．結果から，新しいデータセットにおいてもユーザの表情と身振りの変動量，対話中のユーザ発話のF0の変動幅や最大値，最小値などが対話意欲の識別に有効であることが明らかになり，これらの特徴量を用いて対話意欲の自動推定を実施した．結果として，音声画像特徴量を用いた場合に Leave-one-out 条件で 80.4% ，Subjective-open条件で 77.1% の識別精度を達成した．これは事前に調査をおこなった人間による判断と同程度かそれ以上の識別精度である．これらの成果は1件の査読付き国際会議，2件の国内学会での発表を行っている．また，ここまでの検討では人間同士のインタビュー対話を利用していることから，機械と人間との対話においても同様に対話意欲が表出されるかどうかは不明瞭であるため，特徴量及び識別手法の有効性を確かめる目的で，Wizard of Oz (WOZ)法による対話データの収録を行った．5 名の実験参加者の対話によって集計されたアンケートの分析から, 1)興味と対話意欲の評定は必ずしも等しくないこと, 2)機械との対話では人間同士の対話よりも対話意欲が表出されにくいことが示唆されたが，実際の識別実験までは行えず，課題として残された．こちらの検討に関しては1件の国内学会での発表を行った．

In 2007, the status of the user's interaction with the user's interaction. In the past, the problem of audio recording was solved by extracting the characteristics of 7 people. Analysis of the same year, speech information, speech The results show that the new characteristics of the speech are different from the expression and body vibration of the speech, and the maximum and minimum values of the F0 change of the speech are different from the recognition of the speech intention. The results show that the recognition accuracy of audio image features is 80.4% under leave-one-out condition and 77.1% under Subjective-open condition. The accuracy of the identification is higher than that of the previous investigation. The results of the study include 1 international conference and 2 domestic academic conferences. The purpose of this study is to identify the characteristics and the effectiveness of the identification method. Wizard of Oz (WOZ) method for the recording of the corresponding conversation, 5 participants of the corresponding conversation, 1) the evaluation of the interest of the corresponding conversation, 2) the mechanical interaction of the corresponding conversation, the actual identification of the corresponding conversation, The problem is that we have to deal with it. The research and development of this paper is related to the development of a domestic society.