ロボットとの心地よいコミュニケーションを実現する微表情による感情推定法の開発

微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することができないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。2022年度では、微表情による感情推定に有効な特徴量とそれらの特徴量を算出する顔の注目領域を選択する手法を開発した。感情推定に用いた特徴量は、LBP（Local Binary Pattern）、CBP（Central Binary Pattern）、HOG（Histograms of Oriented Gradients）、HIGO（Histograms of Image Gradient Orientation）、OF（Optical Flow）の5種類とし、顔の注目領域は15領域とした。感情推定に用いる識別器にはXGBoostを使用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で感情推定性能の評価を行った。評価実験では、3種類の微表情データベースを使用し、LOSO（Leave One Subject Out）とLOVO（Leave One Video Out）の2種類の交差検証を実施した。実験結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定の精度向上がみられた。

微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することができないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。2022年度では、微表情による感情推定に有効な特徴量とそれらの特徴量を算出する顔の注目領域を選択する手法を開発した。感情推定に用いた特徴量は、LBP（Local Binary Pattern）、CBP（Central Binary Pattern）、HOG（Histograms of Oriented Gradients）、HIGO（Histograms of Image Gradient Orientation）、OF（Optical Flow）の5種類とし、顔の注目領域は15領域とした。感情推定に用いる識別器にはXGBoostを使用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で感情推定性能の評価を行った。評価実験では、3種類の微表情データベースを使用し、LOSO（Leave One Subject Out）とLOVO（Leave One Video Out）の2種類の交差検証を実施した。実験結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定の精度向上がみられた。