対話型3次元キャラクタのための実時間表情合成モデルの研究

交互式3D角色实时面部表情合成模型研究

基本信息

  • 批准号:
    21K12193
  • 负责人:
  • 金额:
    $ 2.66万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2021
  • 资助国家:
    日本
  • 起止时间:
    2021-04-01 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

2022年度は、昨年度までに開発した顔形状モデルの多重解像度表現手法をもとに、顔形状レイヤ間の連動関係を記述するための数理モデルについて研究した。その過程で拡張リー代数とガウス過程モデルを応用した高精度な例示ベース補間法を開発した。この技術により、アニメーターが例示した複数の連動制御結果を近似する制御計算モデルを自動構築できるため、作業コストの低減と映像品質向上を両立できると考えている。その研究成果は国際オープンアクセスジャーナル論文として発表するとともに、3次元CG映像ソフトウェアのプラグインとして実装したオープンソースソフトウェアを公開した。つぎに、ユーザーの表情変化に応じた対話表情生成の研究基盤として、3次元顔形状および発話音声の計測ソフトウェアおよびワークフローを開発した。この計測システムにより発話時の3次元顔形状・発話音声・ビデオデータを同期計測し、発話内容を半自動的に分析できる実験環境を整えた。そしてこの計測環境を用いて、日本語発話時の顔形状変形データベースの構築を進めた。さらに本課題の応用研究として、発話音声データからの感情推定を用いたリップシンク技術の検討、顔アニメーションデータを他のキャラクタ顔形状に転写するための技術、および補助骨を用いた皮膚変形リグの転写する技術のそれぞれについて基礎検討を進めた。これらの基礎研究成果については国内シンポジウムにおいてポスター発表している。
2022 annual は, yesterday's annual ま で に open 発 し た yan shape モ デ ル の multiple resolution expression を も と に, facial shape レ イ ヤ の linkages between masato account department を す る た め の mathematical モ デ ル に つ い て research し た. そ の process で company, zhang リ ー algebra と ガ ウ ス process モ デ ル を 応 with し た high-precision な exemplify ベ ー ス filling method between を open 発 し た. こ の technology に よ り, ア ニ メ ー タ ー が exemplify し た plural の moving and suppression results を approximate す る suppression computing モ デ ル を automatically construct で き る た め, homework コ ス ト の low cut と image quality up を struck made で き る と exam え て い る. そ の research は international オ ー プ ン ア ク セ ス ジ ャ ー ナ ル paper と し て 発 table す る と と も に, 3 dimensional CG image ソ フ ト ウ ェ ア の プ ラ グ イ ン と し て be loaded し た オ ー プ ン ソ ー ス ソ フ ト ウ ェ ア を public し た. つ ぎ に, ユ ー ザ ー の expression - the に 応 じ た words expression generated seaborne の research base plate と し て, three yuan yan shape お よ び 発 voice sound の measuring ソ フ ト ウ ェ ア お よ び ワ ー ク フ ロ ー を open 発 し た. こ の measuring シ ス テ ム に よ り 発 when の three yuan yan shape, 発 voice sound, ビ デ オ デ ー タ を period measuring し, 発 content を semi-automatic に analysis で き る be 験 environment を whole え た. そ し て こ の environment measuring を い て, Japanese 発 when の yan - shape デ ー タ ベ ー ス の build を into め た. さ ら に this topic の 応 with research と し て, 発 voice sound デ ー タ か ら の feelings presumption を with い た リ ッ プ シ ン ク technology の beg, yan ア 検 ニ メ ー シ ョ ン デ ー タ を he の キ ャ ラ ク タ yan shape に planning write す る た め の technology, お よ び subsidies bone を with い た skin - shaped リ グ の planning write す る technology の そ れ ぞ れ に つ い て beg を into basic 検 め た. The basic research achievements of て れら <s:1> て て て シ domestic シ ポジウムにお てポスタ てポスタ てポスタ てポスタ てポスタ シ domestic developments て て る る る.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
深層学習による顔アニメーションリターゲティングの検討
使用深度学习进行面部动画重定向的考虑
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    竇宇豪;向井智彦
  • 通讯作者:
    向井智彦
二段階スキニング分解による頂点アニメーションの近似
使用两步蒙皮分解近似顶点动画
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井 智彦;岩本 尚也
  • 通讯作者:
    岩本 尚也
SRT-RBF Node
SRT-RBF节点
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
補助骨を用いた皮膚変形リグの転写に関する研究
利用辅助骨骼转录皮肤变形装置的研究
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    曹梓源;向井智彦
  • 通讯作者:
    向井智彦
Example-based Helper Bone Rigging
基于示例的辅助骨骼索具
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

向井 智彦其他文献

例示データに基づくスキニングウェイトの対話的な最適化
基于示例数据的蒙皮权重交互式优化
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    有泉 静耶;向井 智彦
  • 通讯作者:
    向井 智彦
3次元SRT変換の例示ベース連動制御
基于实例的 3D SRT 变换联锁控制
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Daiki Matsumoto;Taishin Murase;Ryuji Hirayama;Hirotaka Nakayama;Tomoyoshi Shimobaba;Tomoyoshi Ito;Atsushi Shiraki;向井 智彦
  • 通讯作者:
    向井 智彦
仮想人間との対話のための眼球運動の分析および合成
与虚拟人交互的眼球运动分析与合成
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;向井 智彦;安藤 大地
  • 通讯作者:
    安藤 大地
人型キャラクタの頬殴打時のアニメーション制作支援システム開発
开发用于打人形角色脸颊的动画制作支持系统
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    有泉 静耶;向井 智彦;有泉静耶,向井智彦
  • 通讯作者:
    有泉静耶,向井智彦
パッチの再配置に基づくジェスチャーのスタイル変換
基于补丁重新定位的手势风格转换
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;安藤 大地;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁

向井 智彦的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('向井 智彦', 18)}}的其他基金

次世代デジタルコンテンツ制作のためアニメーション技術の研究
下一代数字内容制作动画技术研究
  • 批准号:
    21F21783
  • 财政年份:
    2021
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似海外基金

少ない例示から豊かな反応を生み出す、感覚運動協応を再現した自律キャラクタ表現手法
再现感觉运动协调性的自主角色表达方法,从少量的例子中产生丰富的反应
  • 批准号:
    22K12332
  • 财政年份:
    2022
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
ユーザの思い描いた動作を生成可能な深層ニューラルネットワークモデルの構築
构建可以生成用户设想的动作的深度神经网络模型
  • 批准号:
    22K12335
  • 财政年份:
    2022
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Development and Deepening Data-Driven Physics-based CG Animations
开发和深化数据驱动的基于物理的 CG 动画
  • 批准号:
    19K11990
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Autonomous Motion Engine for Behavior and Reaction Design of Interactive Character Agents
用于交互式角色代理行为和反应设计的自主运动引擎
  • 批准号:
    19K12284
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Human Motion Manifold using Deep Neural Networks
使用深度神经网络的人体运动流形
  • 批准号:
    19K12287
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Learning and realtime conversion of motion styles for non-verbal communication via avatar
通过头像学习和实时转换动作风格以进行非语言交流
  • 批准号:
    19H04231
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Natural and fun character action based on relevance / non-relevance with speech
基于与语音的相关性/不相关性的自然且有趣的角色动作
  • 批准号:
    18K11602
  • 财政年份:
    2018
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Learning Real-time Skin Deformation Models for 3D Virtual Characters
学习 3D 虚拟角色的实时皮肤变形模型
  • 批准号:
    18K11607
  • 财政年份:
    2018
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
3DCGアニメーション作成の技法や作風の定量的ブレンディングシステムの提案
3DCG动画创作技法和风格量化混合系统的提出
  • 批准号:
    16J06359
  • 财政年份:
    2016
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
On methods for generating high-quality meshes that respect user intent
关于生成尊重用户意图的高质量网格的方法
  • 批准号:
    15K15999
  • 财政年份:
    2015
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了