A Gaze-enabled 3D Face Morphable Model and Applications for Face Image Synthesis

本年度は新型コロナウイルス感染症の影響により特別研究員採用中断を申請しましたが、私は中国のTencent公司で研究インターンシップとして参加し、菅野先生と張博士の共同指導下で、顔画像生成に関する研究を行いました。これらの研究活動は、本課題「一回撮影で自由視点の話者顔動画生成」と密切に関連しています。「話者顔動画生成」は、単一または複数の静止画から、自然な口の動きや表情の変化を含む動画を生成する研究領域です。具体的には、私はStyleSDFとStyleNeRFの隠れた空間編集ネットワークの設計に取り組みました。これら二つの方法を比較した結果、StyleNeRFはより優れた隠れた空間編集特性を持つことが明らかとなりました。また、隠れた空間編集ネットワークの学習に使用するためのデータセットを作成しました。具体的には、StyleNeRFを用いて原始画像を生成し、各人物IDに対して5つの異なる頭部姿勢の1024x1024解像度の顔画像、そして該ID対応の隠れた空間コードと各画像に対応するカメラ姿勢を含みました。次に、PIRenderを使用して原始画像に表情編集を加え、各頭部姿勢に対して多様な表情の顔画像再現を生成しました。最後にはGPENを用いて画像の超解像処理を行い、1024x1024の画像を得ました。得られたデータセットを使用して、StyleNeRFの隠れた空間編集ネットワークを訓練しました。このネットワークは原始隠れた空間コードと3DMM表情パラメータの差を入力として、隠れた空間コードの偏移量を出力します。これにより、StyleNeRF生成の顔画像の表情の修正が可能となります。以上の研究は本課題と深く関連しており、研究成果の生産に大きく貢献しております。

本年度は新型コロナウイルス感染症の影響により特別研究員採用中断を申請しましたが、私は中国のTencent公司で研究インターンシップとして参加し、菅野先生と張博士の共同指導下で、顔画像生成に関する研究を行いました。これらの研究活動は、本課題「一回撮影で自由視点の話者顔動画生成」と密切に関連しています。「話者顔動画生成」は、単一または複数の静止画から、自然な口の動きや表情の変化を含む動画を生成する研究領域です。具体的には、私はStyleSDFとStyleNeRFの隠れた空間編集ネットワークの設計に取り組みました。これら二つの方法を比較した結果、StyleNeRFはより優れた隠れた空間編集特性を持つことが明らかとなりました。また、隠れた空間編集ネットワークの学習に使用するためのデータセットを作成しました。具体的には、StyleNeRFを用いて原始画像を生成し、各人物IDに対して5つの異なる頭部姿勢の1024x1024解像度の顔画像、そして該ID対応の隠れた空間コードと各画像に対応するカメラ姿勢を含みました。次に、PIRenderを使用して原始画像に表情編集を加え、各頭部姿勢に対して多様な表情の顔画像再現を生成しました。最後にはGPENを用いて画像の超解像処理を行い、1024x1024の画像を得ました。得られたデータセットを使用して、StyleNeRFの隠れた空間編集ネットワークを訓練しました。このネットワークは原始隠れた空間コードと3DMM表情パラメータの差を入力として、隠れた空間コードの偏移量を出力します。これにより、StyleNeRF生成の顔画像の表情の修正が可能となります。以上の研究は本課題と深く関連しており、研究成果の生産に大きく貢献しております。