HMD組み込み型光センサを用いた表情認識における生成型学習

使用 HMD 内置光学传感器进行面部表情识别的生成学习

• 批准号: 21J13664
• 负责人: 中村 文彦
• 金额: $ 0.96万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J13664/
• 关键词: 表情認識; 顔面形状認識; 機械学習; 顔面触覚

頭部装着型ディスプレイ（Head-Mounted Display: HMD）が社会に普及するようになり，ユーザがバーチャル環境に没入して様々な体験することが手軽にできるようになった．バーチャル環境において臨場感の高いコミュニケーションのためには，アバターへの身体動作の反映だけでなく，表情も反映することが不可欠である．HMD装着者の表情認識に関する先行研究では，組込型光センサから得られた低次元のデータを機械学習することで，表情を識別している．しかし，良好な識別精度を持った機械学習モデルの構築には，学習に用いる訓練データの量と質の確保が必要である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．研究期間の最終年次にあたる2022年度では，HMDを装着したユーザが目と頭部が多様な方向を向いている時の表情のデータセットを収集し，視線と頭部方向が組込型光センサによる表情識別に与える影響を検証した．この成果は国際学術誌IEEE Transactions on Visualization and Computer Graphicsに掲載された．また，ロボットアームの先端に取り付けた反射型光センサによる顔面形状の計測を基にした顔面への触覚提示による空間誘導手法を提案した．この成果は国際学術誌Frontiers in Computer Scienceに掲載された．さらに，HMD装着者の表情を学習したモデルに対して転移学習の手法であるFine Tuningを適用することで，少ない訓練データでも表情認識の精度が向上することを示した．この成果は国際学会Augmented Humans 2023でポスター発表を行った．

Head-Mounted Display (HMD) is popular in society, especially in the environment. A preliminary study on expression recognition of HMD users was conducted. A group of light sources was used to obtain a low-dimensional mechanical learning model for expression recognition. Good recognition accuracy is necessary to maintain the mechanical learning structure, and the quantity and quality of training data are necessary for learning. This study aims to train artificial expression generation and generate learning patterns that are applicable to expression measurement. The final year of the study was 2022, when HMD was installed and the head was oriented in multiple directions, the expression was collected and the visual line was oriented in multiple directions. IEEE Transactions on Visualization and Computer Graphics. A method of spatial induction is proposed for measuring the shape of the face based on the tip of the face. Frontiers in Computer Science. In addition, the expression of HMD users is studied. The method of shift learning is applied. The accuracy of expression recognition is improved. The results of the International Society Augmented Humans 2023 are presented in the table.

项目成果

Evaluation of Spatial Directional Guidance using Cheek Haptic Stimulation in a Virtual Environment

在虚拟环境中使用脸颊触觉刺激评估空间方向引导

• DOI: 10.3389/fcomp.2022.733844
• 发表时间: 2022
• 期刊: Frontiers in Computer Science
• 影响因子: 2.6
• 作者: Fumihiko Nakamura;Adrien Verhulst;Kuniharu Sakurada;Masaaki Fukuoka and Maki Sugimoto
• 通讯作者: Masaaki Fukuoka and Maki Sugimoto

Virtual Whiskers: Spatial Directional Guidance Using Cheek Haptic Stimulation in a Virtual Environment

虚拟胡须：在虚拟环境中使用面颊触觉刺激进行空间方向引导

• DOI: 10.18974/tvrsj.26.4_298
• 发表时间: 2021
• 期刊: Transactions of the Virtual Reality Society of Japan
• 作者: 中村 文彦;Adrien Verhulst;櫻田 国治;福岡 正彬;杉本 麻樹
• 通讯作者: 杉本 麻樹

Analyzing the Effect of Diverse Gaze and Head Direction on Facial Expression Recognition With Photo-Reflective Sensors Embedded in a Head-Mounted Display

• DOI: 10.1109/tvcg.2022.3179766
• 发表时间: 2022-06
• 期刊: IEEE Transactions on Visualization and Computer Graphics
• 影响因子: 5.2
• 作者: Fumihiko Nakamura;Masaaki Murakami;Katsuhiro Suzuki;M. Fukuoka;Katsutoshi Masai;M. Sugimoto

Exploring the Effect of Transfer Learning on Facial Expression Recognition using Photo-Reflective Sensors embedded into a Head-Mounted Display

使用嵌入头戴式显示器的光反射传感器探索迁移学习对面部表情识别的影响

• 发表时间: 2023
• 作者: Fumihiko Nakamura;Maki Sugimoto
• 通讯作者: Maki Sugimoto

頬への触覚提示を利用したVR空間における方向誘導手法

VR空间中使用脸颊触觉呈现的方向引导方法

• 发表时间: 2021
• 作者: Ryo Toyama;Shiro Kawachi;Jun-ichi Yamaura;Youichi Murakami;Hideo Hosono;Yutaka Majima;佐藤らな;中村文彦，Adrien Vehulst，櫻田国治，福岡正彬，杉本麻樹
• 通讯作者: 中村文彦，Adrien Vehulst，櫻田国治，福岡正彬，杉本麻樹