熱赤外カメラを用いた情動変化検出に関する検討

○研究目的 :ユーザ心情の検出・推定が可能であれは, より高度なマンマシンインタフェースを構築可能となる。しかしながら, 一般的なカメラでは自然な表情と故意に表出した表情の判別が困難なのが実情である。そこで本研究では, 赤外線サーモグラフィで取得した温度情報に着目し, 情動の生起および消失と顔面温度の相関について工学的知見を得ることを目的とした。さらに, 熱赤外画像における顔面の特定部位(温度計測領域)の自動抽出手法についても検討を加えた。○研究方法 :・データの取得 : 被験者10名に対して情動喚起映像を用いた受動的な"喜び"の情動喚起を行い, 赤外線サーモグラフィ用いて時系列顔温度データを取得した。データ取得後は被験者自身に情動が喚起された区間を選定させ, その強度について4段階の自己評価を行わせた。・温度計測領域の自動設定手法の開発 : 人物の熱赤外データに対する顔面領域の自動抽出法について検討を加えた。この手法は, 熱赤外データからグレースケール画像を生成し, Haar-like特徴とAdaboostを用いた学習による顔面領域検出手法である。なお, 顔面領域の基準面像(教師データ)はオペレータ(1名)が手動で作成した。・情動と顔面温度変化の関連解析 : 顔温度データ(被験者5名を対象)に対して, 両頬領域と鼻領域を対象として情動の生起と顔面温度の関連を調査した。各領域が良好に検出可能であった情動喚起区間(被験者あたり2～5区間)を対象に背景温度差分を算出し, 時系列的な推移などを解析した。○研究成果 : 温度計測領域の自動設定手法に関しては, 各被験者300フレームの学習データを用いて個人別の検出器を生成することにより, 温度データから良好に顔領域を検出可能(平均約88%)という結果を得た。情動と計測領域温度の関連解析においては, 情動生起時に頬領域の皮膚温度が上昇する傾向を認めた。

○研究目的 :ユーザ心情の検出・推定が可能であれは, より高度なマンマシンインタフェースを構築可能となる。しかしながら, 一般的なカメラでは自然な表情と故意に表出した表情の判別が困難なのが実情である。そこで本研究では, 赤外線サーモグラフィで取得した温度情報に着目し, 情動の生起および消失と顔面温度の相関について工学的知見を得ることを目的とした。さらに, 熱赤外画像における顔面の特定部位(温度計測領域)の自動抽出手法についても検討を加えた。○研究方法 :・データの取得 : 被験者10名に対して情動喚起映像を用いた受動的な"喜び"の情動喚起を行い, 赤外線サーモグラフィ用いて時系列顔温度データを取得した。データ取得後は被験者自身に情動が喚起された区間を選定させ, その強度について4段階の自己評価を行わせた。・温度計測領域の自動設定手法の開発 : 人物の熱赤外データに対する顔面領域の自動抽出法について検討を加えた。この手法は, 熱赤外データからグレースケール画像を生成し, Haar-like特徴とAdaboostを用いた学習による顔面領域検出手法である。なお, 顔面領域の基準面像(教師データ)はオペレータ(1名)が手動で作成した。・情動と顔面温度変化の関連解析 : 顔温度データ(被験者5名を対象)に対して, 両頬領域と鼻領域を対象として情動の生起と顔面温度の関連を調査した。各領域が良好に検出可能であった情動喚起区間(被験者あたり2～5区間)を対象に背景温度差分を算出し, 時系列的な推移などを解析した。○研究成果 : 温度計測領域の自動設定手法に関しては, 各被験者300フレームの学習データを用いて個人別の検出器を生成することにより, 温度データから良好に顔領域を検出可能(平均約88%)という結果を得た。情動と計測領域温度の関連解析においては, 情動生起時に頬領域の皮膚温度が上昇する傾向を認めた。