Learning and realtime conversion of motion styles for non-verbal communication via avatar

点击翻译按钮获取中文摘要

CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。