权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Facial Expression Recognition in Daily Life using a Wearable Device

使用可穿戴设备进行日常生活中的面部表情识别

基本信息

批准号：
18J12580
负责人：
正井克俊
金额：
$ 0.96万
依托单位：
Keio University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2020-03-31
项目状态：
已结题

项目摘要

眼鏡型装置を用いて装着者の表情を計測する研究を行った。本装置には赤外光の反射型光センサのアレイが組み込まれており、表情変化に伴う皮膚変形を反射強度として取得することができる。表情はコミュニケーションにおいて意図や感情などの心的状態を伝える重要な役割を果たす。表情分類の枠組みはEkmanらのFACSに代表されるように、感情に基づき一般性を考慮したものとなっている。そのため、個人ごとの表情に含まれるニュアンスの違いを考慮することが困難である。例えば、よく笑う人が見せる大笑いとあまり笑わない人が見せる大笑いでは、その意味合い異なることが予測される。しかし、既存の枠組みでは同等な意味を持つものと見なされてしまう。そこで、本年度の研究では本装置から得られるセンサデータに教師なし学習アルゴリズムを適用し、計測期間におけるセンサデータにおける構造をもとにした分類を行った。事前に表情クラスのラベリングを必要としないため、センサから得られる幾何学情報にもとづいた表情のクラスタリングが可能である。実験では、ユーザに眼鏡型装置をつけてもらい複数人のグループの中で5-10分ほどの自由に会話する様子を記録した。合計５人のユーザが参加しデータを記録した。得られたセンサデータに対して自己組織化マップをもちいて訓練をし、2次元空間に可視化した。得られたデータからユーザにおける特徴的な表情ごとにマッピングすることができた。例えば、あるユーザの笑顔は、苦笑いや快を伴う笑い、社交的な笑いなど場面毎に多様であることがマップには示された。また、複数人のデータをそれぞれ正規化したデータを用いてマップを生成した。異なるユーザにおいても類似した表情は近いクラスタとなっており、ユーザに依存しない分類ができた。この成果はウェアラブルコンピューティング分野の国際会議であるUbicomp2018にてポスターとして発表した。

Research on the expression measurement of the wearer of glasses The device is composed of red light and reflective light, and the reflection intensity is obtained by changing the expression and skin shape. The state of the heart is important for the expression of emotions. Expression classification is based on Ekman's FACS representation, emotion and generality. It's hard to think about it. For example, It's not the same as the existing group. This year's research is aimed at the application of this device, the measurement period and the structure of this device. Before the expression, it is necessary to change the expression. In fact, the number of people in the group is 5-10 minutes, and the number of people in the free group is recorded. Total 5 people participated in the event. You can organize your own training and visualization in the 2D space with the help of the local server data. The first is the first time that I've ever seen a woman. For example, smile, smile The number of people in the room is 100. Different from each other, similar expressions can be found in different categories. The results of the Ubicomp2018 International Conference on Social Security