対話型3次元キャラクタのための実時間表情合成モデルの研究

点击翻译按钮获取中文摘要

2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。