対話型3次元キャラクタのための実時間表情合成モデルの研究

交互式3D角色实时面部表情合成模型研究

• 批准号: 21K12193
• 负责人: 向井 智彦
• 金额: $ 2.66万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12193/
• 关键词: スキニング; キャラクタアニメーション; コンピュータグラフィックス; アニメーション; リギング

2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。

In 2022, the development of multi-resolution expression methods for color shapes and the description of the linkage between color shapes and shapes were studied. The development of high precision interpolation method for the process of expansion and reduction This technique is illustrated by a number of control results, approximate control calculations, automatic construction, reduction of operation parameters, and upward image quality. The results of this research are published in the international media. The research base of expression generation in speech and speech is developed. This measurement system includes three dimensions of speech time, speech sound, speech content, semi-automatic speech analysis, and speech environment adjustment. The measurement environment is used in Japanese language communication, and the construction of the environment is advanced. In this paper, the application research of this subject is carried out, and the basic research on the application of emotion estimation technology in sound detection, color detection and other color shape detection technology is carried out. The results of basic research in this field are presented in the paper.

项目成果

深層学習による顔アニメーションリターゲティングの検討

使用深度学习进行面部动画重定向的考虑

• 发表时间: 2022
• 作者: 竇宇豪;向井智彦
• 通讯作者: 向井智彦

二段階スキニング分解による頂点アニメーションの近似

使用两步蒙皮分解近似顶点动画

• 发表时间: 2021
• 作者: 向井 智彦;岩本 尚也
• 通讯作者: 岩本 尚也

SRT-RBF Node

SRT-RBF节点

補助骨を用いた皮膚変形リグの転写に関する研究

利用辅助骨骼转录皮肤变形装置的研究

• 发表时间: 2022
• 作者: 曹梓源;向井智彦
• 通讯作者: 向井智彦

Example-based Helper Bone Rigging

基于示例的辅助骨骼索具