対話文脈の再推定メカニズムを備えた柔軟なモルチモーダル対話システムの構築

(1) PLSAを用いたトピック推定法について昨年度までは,統計的言語モデルであるPLSAを用いて,ユーザ発話のトピックを推定する方法を検討してきた.本年度はユーザの現時点での発話に加えて,対話履歴(直近の発話で用いられた単語・トピック情報)を用いることにより,精度の高いトピック推定を可能にした.旅行予約対話を対象とした実験の結果,トピック推定率が72.04%から90.01%に向上することが確認できた.(2) ユーザの表情を取得するモジュールの開発についてトピック推定において補助的に用いるため,ユーザの表情を取得するモジュールを開発した.従来の表情認識では静止画像を対象にしたものが多いのに対し,本研究では動画像を対象とする.顔動画像を適切に処理するため,時系列データの処理に適したリカレントニューラルネットワーク,および顔画像の時間経過に伴うオプティカルフローを利用することで,精度の向上を目指した.9名の被験者の6表情を用いた実験を行ったところ,通常の多階層ニューラルネットワークを用いる場合では認識率が63.2%であったのに対し,提案手法では68.8%の認識率となり,有効性を確認できた.(3) その他,マルチモーダル対話の応用システムについて上記の研究の他,マルチモーダル対話システムの応用として,ユーザの視線軌跡情報を用いた動画像推薦システム,およびデフォルメ地図を用いた携帯端末用情報提供・共有システムを開発し,対外発表を行うと共に,産業財産権の申請を行った.

(1) PLSAを用いたトピック推定法について昨年度までは,統計的言語モデルであるPLSAを用いて,ユーザ発話のトピックを推定する方法を検討してきた.本年度はユーザの現時点での発話に加えて,対話履歴(直近の発話で用いられた単語・トピック情報)を用いることにより,精度の高いトピック推定を可能にした.旅行予約対話を対象とした実験の結果,トピック推定率が72.04%から90.01%に向上することが確認できた.(2) ユーザの表情を取得するモジュールの開発についてトピック推定において補助的に用いるため,ユーザの表情を取得するモジュールを開発した.従来の表情認識では静止画像を対象にしたものが多いのに対し,本研究では動画像を対象とする.顔動画像を適切に処理するため,時系列データの処理に適したリカレントニューラルネットワーク,および顔画像の時間経過に伴うオプティカルフローを利用することで,精度の向上を目指した.9名の被験者の6表情を用いた実験を行ったところ,通常の多階層ニューラルネットワークを用いる場合では認識率が63.2%であったのに対し,提案手法では68.8%の認識率となり,有効性を確認できた.(3) その他,マルチモーダル対話の応用システムについて上記の研究の他,マルチモーダル対話システムの応用として,ユーザの視線軌跡情報を用いた動画像推薦システム,およびデフォルメ地図を用いた携帯端末用情報提供・共有システムを開発し,対外発表を行うと共に,産業財産権の申請を行った.