ロボットとの心地よいコミュニケーションを実現する微表情による感情推定法の開発

开发利用微表情的情绪估计方法，实现与机器人的舒适交流

• 批准号: 22K12130
• 负责人: 高野 博史
• 金额: $ 2.58万
• 依托单位: Toyama Prefectural University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12130/
• 关键词: 微表情; 感情推定; 特徴選択; 深層学習; 部分遮蔽; 表情認識; 特徴量選択; 特徴抽出; 画像認識

微表情はヒトが無意識のうちに生じるわずかな顔の動きであり、感情とは異なる表情を表出することができないため、真の感情を反映している。顔映像から微表情を検出し、感情を推定することができれば、ロボットが人に寄り添った心地よいコミュニケーションを行うことが可能となる。本研究では、顔の向きや顔の部分遮蔽が生じた場合でも、微表情による感情推定が可能となる手法を開発する。2022年度では、微表情による感情推定に有効な特徴量とそれらの特徴量を算出する顔の注目領域を選択する手法を開発した。感情推定に用いた特徴量は、LBP（Local Binary Pattern）、CBP（Central Binary Pattern）、HOG（Histograms of Oriented Gradients）、HIGO（Histograms of Image Gradient Orientation）、OF（Optical Flow）の5種類とし、顔の注目領域は15領域とした。感情推定に用いる識別器にはXGBoostを使用し、5種類すべての特徴量を用いて感情推定に有効な特徴量および顔の注目領域を選択する方法と、特徴量ごとに有効な顔の注目領域を選択する方法で感情推定性能の評価を行った。評価実験では、3種類の微表情データベースを使用し、LOSO（Leave One Subject Out）とLOVO（Leave One Video Out）の2種類の交差検証を実施した。実験結果より、特徴量および特徴量を抽出する顔の注目領域を選択することで、微表情による感情推定の精度向上がみられた。

Micro-expressions are unconscious, emotional and different expressions are expressed, and true feelings are reflected. Face image, micro-expression, emotion, estimation, etc. This study explores the possibility of emotion estimation in micro-expression situations. In 2022, the method for estimating the characteristics of facial expressions was developed. There are five categories OF emotion estimation: local Binary Pattern (LBP), central Binary Pattern (CBP), Histograms of Oriented Gradients (HOG), Histograms of Image Gradient Orientation (HIGO), and Optical Flow (OF). The emotion estimation is performed by using XGBoost, 5 kinds of feature quantity, emotion estimation, feature quantity and attention field selection method. 3 types of micro-expressions are used, LOSO (Leave One Subject Out) and LOVO (Leave One Video Out) are used. The result of this study is that the accuracy of emotion estimation can be improved by extracting the feature quantity and the attention field.

项目成果

目周辺特徴のみを用いた表情認識法の開発

仅使用眼部周边特征的面部表情识别方法的开发

• 发表时间: 2022
• 作者: 廣瀬智章;高野博史
• 通讯作者: 高野博史

Recognition Performance of Facial Expression for the Face’s Partial Regions

人脸局部区域表情识别性能

• DOI: 10.1109/icmlc56445.2022.9941316
• 发表时间: 2022
• 期刊: Proceedings of 2022 International Conference on Machine Learning and Cybernetics
• 作者: Tomoaki Hirose;Kazuma Yamaguchi;Hironobu Takano
• 通讯作者: Hironobu Takano