対話中の顔表情認識とその音声対話システムへの応用

点击翻译按钮获取中文摘要

<1.顔表情認識システムの構築>昨年度の研究結果を踏まえ,本年度は,まず顔表情認識システムを構築した.認識対象とする表情としては,「笑顔」「しかめ」「見開き」と,平常を含む4表情とした.顔領域の中で,上記の表情で特に変化の大きかった眉間,眉毛を含む目,頬,口の部分画像を切り出し,主成分分析(PCA)や線形識別分析(LDA)などに基づき次元圧縮を施したベクトルを特徴量とし,サポートベクターマシンを用いて認識を行った,その結果,80%を超える認識率が得られた.<2.顔方向・視線認識システムの構築>上記に述べた顔表情システムは,基本的にユーザの顔が対話ロボットに正面を向けている場合を想定している.実際の対話では,ユーザの顔向きは様々に変化する.また,顔向きや視線はユーザとシステムとの間での発話権(発話の順番)のやり取りに大きな影響を与えるため,これらを認識することは顔表情と同様に適切な対話制御のために不可欠である.本研究では,画像のテンプレートマッチングの一手法であるLucas-Kanadeアルゴリズムを用いて,顔画像テンプレートマッチング問題を3次元情報を考慮して解くことで顔向きの推定を行った.また,ここで得られた結果から目の部分面像を切り出し,PCAやLDAなどを用いて得られた特徴ベクトルを,部分空間法を用いた識別器にかけることによって視線認識を行った.これらの結果,顔向き認識は平均誤差約5度,視線認識は76%の認識率という結果が得られた.これらのリアルタイムのデモンストレーションをノートPC上に実装した.