HMD組み込み型光センサを用いた表情認識における生成型学習

点击翻译按钮获取中文摘要

頭部装着型ディスプレイ（Head-Mounted Display: HMD）が社会に普及するようになり，ユーザがバーチャル環境に没入して様々な体験することが手軽にできるようになった．バーチャル環境において臨場感の高いコミュニケーションのためには，アバターへの身体動作の反映だけでなく，表情も反映することが不可欠である．HMD装着者の表情認識に関する先行研究では，組込型光センサから得られた低次元のデータを機械学習することで，表情を識別している．しかし，良好な識別精度を持った機械学習モデルの構築には，学習に用いる訓練データの量と質の確保が必要である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．研究期間の最終年次にあたる2022年度では，HMDを装着したユーザが目と頭部が多様な方向を向いている時の表情のデータセットを収集し，視線と頭部方向が組込型光センサによる表情識別に与える影響を検証した．この成果は国際学術誌IEEE Transactions on Visualization and Computer Graphicsに掲載された．また，ロボットアームの先端に取り付けた反射型光センサによる顔面形状の計測を基にした顔面への触覚提示による空間誘導手法を提案した．この成果は国際学術誌Frontiers in Computer Scienceに掲載された．さらに，HMD装着者の表情を学習したモデルに対して転移学習の手法であるFine Tuningを適用することで，少ない訓練データでも表情認識の精度が向上することを示した．この成果は国際学会Augmented Humans 2023でポスター発表を行った．