３ＤＣＧアニメーション作成の技法や作風の定量的ブレンディングシステムの提案

3DCG动画创作技法和风格量化混合系统的提出

• 批准号: 16J06359
• 负责人: 加藤 卓哉
• 金额: $ 2.18万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J06359/
• 关键词: 表情アニメーション; 深層学習; 3DCGアニメーション; 機械学習; ヒューマンコンピュータインタラクション; キャラクタアニメーション; アーティストの技法や作風の定量化; アーティストの技法や作風の再現; ディープラーニング; アニメーション作成のためのインターフェース開発; キャラクタモーション; 3Dモデリング

今年度3DCGキャラクタアニメーションにおける表情合成技術に取り組んだ。本研究は産業技術総合研究所のメディアインタラクショングループと共に研究を行なったものである。本研究では表情の一般的モデル化に向けた研究であり、複数名の表情データを深層学習によりモデル化、その後新たな入力に対して、新たな表情データを出力する研究である。本研究においては、近年注目度が上がっている深層学習のアルゴリズムを用いることでモデル化に成功した。本研究課題を申請した当時では困難であった、深層学習を用いた個性要素の補間技術や挙動の可視化技術なども高まったことから、本研究課題においても採用すべきと考え、中でも時間連続性のあるデータの学習に強い LSTMというモデルを用いることで、高い再現精度を得ることに成功した。研究の有用性を示すために、歌唱時という特定のケースに置いて本研究を用いることで、高い有用性を示すことに成功した。本研究はブレンディングや定量化という点においては、定量化及びモデル化という側面にとどまっており、ブレンディングという点についてはいまだ達成されていない。一方で、近年深層学習においても統計学的な仮定に基づきブレンディングなどに転用可能な手法が提案されている。来年度、こうした手法を用いることでブレンディングまで可能な動作のモデル化を目指して、研究室と継続して研究活動を行う。本研究は学術界より高い評価を受け、研究開始から1年程度で論文誌に採録されるなど高い評価を受ける。更に本研究内容は産業界からも高い評価を受け、様々な大手メディアに置いて取り上げられた他、大手広告会社などにおける3DCGアニメーション制作プロセスへの導入を検討しており、作業効率化に貢献することが検討されている。本研究での論文の採録により、所属研究科の博士課程取得の要件を満たし、本研究院は課程内で博士課程を終了することになった。

This year's 3DCG photo shoot is based on the expression synthesis technology. This study is aimed at the research and development of the Institute of Industrial Technology. This study focuses on the study of expression in general and expression in depth. In this study, the degree of attention in recent years has been increasing. Deep learning has been successfully applied. This research topic applies to the difficulty of time, deep learning, application of interpolation technology of personality elements, and visualization technology of motion. This research topic applies to the success of time continuity, application of deep learning, application of interpolation technology, and high reproduction accuracy. This study was successful in demonstrating usefulness. In this study, the quantitative and quantitative methods were used to analyze the relationship between the quantitative and quantitative methods. On the one hand, in recent years, deep learning has been carried out on the basis of statistical analysis. In the coming year, the research laboratory will conduct research activities. This study received high reviews from academic circles, papers collected at the beginning of the study, and high reviews from academic circles. The content of this study is to discuss the introduction of high-quality products from the industrial community, and to discuss the contribution of high-quality products from the industrial community. The thesis is collected and recorded, the doctoral program of the graduate school is acquired, and the doctoral program of the graduate school is completed.

项目成果

Facial Video Age Progression Considering Expression Change

考虑表情变化的面部视频年龄进展

• 发表时间: 2017
• 作者: Shintaro Yamamoto;Pavel Savkin;Takuya Kato;Shoichi Furukawa;Shigeo Morishima
• 通讯作者: Shigeo Morishima

Garment Transfer for Quadruped Characters

四足角色的服装转移

• 发表时间: 2016
• 作者: Fumiya Narita;Shunsuke Saito;Takuya Kato;Tsukasa Fukusato;and Shigeo Morishima
• 通讯作者: and Shigeo Morishima

DanceDJ: A 3D Dance Animation Authoring System for Live Performance

DanceDJ：用于现场表演的 3D 舞蹈动画创作系统

• DOI: 10.1007/978-3-319-76270-8_46
• 发表时间: 2017
• 期刊: Advances in Computer Entertainment Conference - ACE 2017
• 作者: Naoya Iwamoto*;Takuya Kato*;Hubert P. H. Shum;Ryo Kakitsuka;Kenta Hara;Shigeo Morishima(* equally contributed)
• 通讯作者: Shigeo Morishima(* equally contributed)

How Makeup Experience Changes how we see Cosmetics?

化妆体验如何改变我们对化妆品的看法？

• 发表时间: 2018
• 作者: Kanami Yamagishi;Takuya Kato;Shintaro Yamamoto;Ayano Kaneda and Shigeo Morishima
• 通讯作者: Ayano Kaneda and Shigeo Morishima

DanceDJ: ライブパフォーマンスを実現する実時間ダンス生成システム

DanceDJ：用于现场表演的实时舞蹈生成系统

• 发表时间: 2017
• 作者: 岩本尚也;加藤卓哉 ;原健太;柿塚亮;森島繁生
• 通讯作者: 森島繁生