表面格子場を使った三次元形状の深層学習

２０２２年度は、三次元形状上で畳み込み演算を行うための基礎的な実装を終えて、論文執筆のための実験をおこなっている。本技術のターゲットとして、デジタル・ヒューマン分野での応用を第一に目指している。デジタル・ヒューマンとはコンピュータ・グラフィックスの技術を使って写実的な人間を再現するものであり、近年注目を 集めている。デジタル・ヒューマンの作成には多大な人間の労力が必要であり、それらの自動化やコンピュータによる支援ができれば非常に貢献が大きい。本年度はデジタルヒューマンに関係する技術として、顔のアニメーションのテクスチャの圧縮に関する研究を行い、Full Paperの原著論文をGraphics Interface2023という国際学会に投稿し採択された。この研究は顔の表情に合わせて変化するテクスチャの圧縮に関するものである。顔のアニメーションにおいては一般的にブレンドシェープと呼ばれる手法が取られてきた。これは複数の表情の顔形状を混合して、顔を変形させるというものである。しかしながら、顔の表情に合わせて顔のテクスチャを変化させるには沢山のテクスチャを容易しなければならず、非常にメモリを消費した。提案手法は表情に応じて変化する重みのマップを使うことで、品質を保ったまま劇的にメモリの使用量を下げた。今後さらに、三次元幾何形状の深層学習と組み合わせることで、圧縮の効率を高められる可能性がある。

２０２２年度は、三次元形状上で畳み込み演算を行うための基礎的な実装を終えて、論文執筆のための実験をおこなっている。本技術のターゲットとして、デジタル・ヒューマン分野での応用を第一に目指している。デジタル・ヒューマンとはコンピュータ・グラフィックスの技術を使って写実的な人間を再現するものであり、近年注目を 集めている。デジタル・ヒューマンの作成には多大な人間の労力が必要であり、それらの自動化やコンピュータによる支援ができれば非常に貢献が大きい。本年度はデジタルヒューマンに関係する技術として、顔のアニメーションのテクスチャの圧縮に関する研究を行い、Full Paperの原著論文をGraphics Interface2023という国際学会に投稿し採択された。この研究は顔の表情に合わせて変化するテクスチャの圧縮に関するものである。顔のアニメーションにおいては一般的にブレンドシェープと呼ばれる手法が取られてきた。これは複数の表情の顔形状を混合して、顔を変形させるというものである。しかしながら、顔の表情に合わせて顔のテクスチャを変化させるには沢山のテクスチャを容易しなければならず、非常にメモリを消費した。提案手法は表情に応じて変化する重みのマップを使うことで、品質を保ったまま劇的にメモリの使用量を下げた。今後さらに、三次元幾何形状の深層学習と組み合わせることで、圧縮の効率を高められる可能性がある。