顔の熱動画像を用いた悲しみの情動検出に関する検討

基于人脸热动态图像的悲伤情绪检测研究

• 批准号: 26919010
• 负责人: 高橋 毅
• 金额: $ 0.32万
• 依托单位: Akita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Scientists
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-26919010/
• 关键词: 赤外線サーモグラフィ; 情動喚起映像; 悲しみの情動

○研究目的 : 表情・感情認識技術は高度なマンマシン間コミュニケーションを実現するために重要である。そこで本研究では, 情動と身体の生理的変化に伴う顔の表面温度変動に関する知見を得ることを目的とし, 受動的刺激により喚起した“悲しみ”の生起・消失時における顔面温度変動の計測・解析を行い, “悲しみ”の情動検出に関する検討を行った。○実施内容ならびに研究成果 :・データの取得 : 被験者7名に対して情動喚起映像(映画)を用いた受動的な“悲しみ”の情動喚起を行い, 赤外線サーモグラフィ用いて時系列顔温度データを取得した。映画視聴後2日以内に, 強い悲しみを喚起する場面を再度視聴させ, 顔面をサーモグラフィで約9分間(視聴5分, 前後2分の安静)撮影した。撮影後はアンケートを用いて情動の程度や体調などを被験者ごとに調査し, 解析データを取得した。・対象領域の自動設定処理の開発 : 温度データから顔面のグレースケール画像を生成し, Haar-like特徴量とAdaboostを用いた顔面領域の検出手法の開発を行った。各被験者100～600フレームの顔面領域の正解画像をオペレータ1名が手動で作成し, 機械学習で全被験者共通ならびに個人別の検出器を生成した。その結果, 被験者共通・個人別検出器何れも顔領域を検出可能であることを明らかにした。また, 共通検出器はより多くの学習データを必要とし, 350フレーム以上の場合に良好な検出率が得られた。・情動と顔面温度変化の関連解析 : 対象領域における情動の生起と顔面温度の関連について検討を加えた。その結果, 悲しみの情動が喚起された場合, 特定の被験者において頬領域温度の緩やかな上昇ならびに呼吸変化に伴う鼻根付近の温度変動が認められた。また, 悲しみの情動の場合, 情動喚起で上昇した頬領域の温度が比較的長時間保持される傾向を認めた。この頬温度変動の傾向が“喜び”と“悲しみ”の情動判別に有用な指標となるか更なる検討が必要である。

○ Purpose: Expression and emotion recognition technology is highly important. This study aims to investigate the relationship between emotional and physiological changes of the body and changes in facial temperature, and the relationship between emotional and physical changes and changes in facial temperature.○ Implementation of the content of the research results:·Data acquisition: 7 people were affected by the emotional arousal image (picture), the use of the "sad" emotional arousal line, infrared radiation, time series color temperature acquisition Within 2 days after the shooting, the scene was re-viewed with intense sadness, and the face was removed for about 9 minutes (5 minutes for the viewing, 2 minutes for the front and back). After the film was released, the film was released and the film was released. Development of automatic setting process for image field: Development of detection method for image generation by temperature change, Haar-like feature and Adaboost. Each subject 100~600 years ago, the correct image of the face area was selected from one name to be manually created, and mechanical learning was used to create a common image for all subjects and a detector for each individual. The result is that the individual detector is common to the individual detector and the field is likely to be detected. The common detector has a good detection rate when it is necessary to learn more than 350 times Analysis of the relationship between emotion and facial temperature change: the relationship between emotion and facial temperature in the corresponding field As a result, the emotional state is aroused, and the temperature of the specific affected person is slowly increased, and the respiratory change is accompanied by the temperature change near the nose. In the case of emotional distress, emotional arousal tends to rise and the temperature of the cheek area tends to remain relatively high for a long time. The tendency of temperature fluctuation is "happy" and "sad", and the situation is judged by useful index and necessary discussion.

项目成果

Method to Detect Face Area from Sequential Thermal Image

从序列热图像中检测人脸区域的方法

• 发表时间: 2014
• 作者: 上杉悠気;水沼充;横山道央;高橋毅
• 通讯作者: 高橋毅