対話型3次元キャラクタのための実時間表情合成モデルの研究

交互式3D角色实时面部表情合成模型研究

• 批准号: 21K12193
• 负责人: 向井 智彦
• 金额: $ 2.66万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12193/
• 关键词: スキニング; キャラクタアニメーション; コンピュータグラフィックス; アニメーション; リギング

2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。

2022 annual は, yesterday's annual ま で に open 発 し た yan shape モ デ ル の multiple resolution expression を も と に, facial shape レ イ ヤ の linkages between masato account department を す る た め の mathematical モ デ ル に つ い て research し た. そ の process で company, zhang リ ー algebra と ガ ウ ス process モ デ ル を 応 with し た high-precision な exemplify ベ ー ス filling method between を open 発 し た. こ の technology に よ り, ア ニ メ ー タ ー が exemplify し た plural の moving and suppression results を approximate す る suppression computing モ デ ル を automatically construct で き る た め, homework コ ス ト の low cut と image quality up を struck made で き る と exam え て い る. そ の research は international オ ー プ ン ア ク セ ス ジ ャ ー ナ ル paper と し て 発 table す る と と も に, 3 dimensional CG image ソ フ ト ウ ェ ア の プ ラ グ イ ン と し て be loaded し た オ ー プ ン ソ ー ス ソ フ ト ウ ェ ア を public し た. つ ぎ に, ユ ー ザ ー の expression - the に 応 じ た words expression generated seaborne の research base plate と し て, three yuan yan shape お よ び 発 voice sound の measuring ソ フ ト ウ ェ ア お よ び ワ ー ク フ ロ ー を open 発 し た. こ の measuring シ ス テ ム に よ り 発 when の three yuan yan shape, 発 voice sound, ビ デ オ デ ー タ を period measuring し, 発 content を semi-automatic に analysis で き る be 験 environment を whole え た. そ し て こ の environment measuring を い て, Japanese 発 when の yan - shape デ ー タ ベ ー ス の build を into め た. さ ら に this topic の 応 with research と し て, 発 voice sound デ ー タ か ら の feelings presumption を with い た リ ッ プ シ ン ク technology の beg, yan ア 検 ニ メ ー シ ョ ン デ ー タ を he の キ ャ ラ ク タ yan shape に planning write す る た め の technology, お よ び subsidies bone を with い た skin - shaped リ グ の planning write す る technology の そ れ ぞ れ に つ い て beg を into basic 検 め た. The basic research achievements of て れら <s:1> て て て シ domestic シ ポジウムにお てポスタ てポスタ てポスタ てポスタ てポスタ シ domestic developments て て る る る.

项目成果

深層学習による顔アニメーションリターゲティングの検討

使用深度学习进行面部动画重定向的考虑

• 发表时间: 2022
• 作者: 竇宇豪;向井智彦
• 通讯作者: 向井智彦

二段階スキニング分解による頂点アニメーションの近似

使用两步蒙皮分解近似顶点动画

• 发表时间: 2021
• 作者: 向井 智彦;岩本 尚也
• 通讯作者: 岩本 尚也

SRT-RBF Node

SRT-RBF节点

補助骨を用いた皮膚変形リグの転写に関する研究

利用辅助骨骼转录皮肤变形装置的研究

• 发表时间: 2022
• 作者: 曹梓源;向井智彦
• 通讯作者: 向井智彦

Example-based Helper Bone Rigging

基于示例的辅助骨骼索具