Learning and realtime conversion of motion styles for non-verbal communication via avatar

通过头像学习和实时转换动作风格以进行非语言交流

基本信息

  • 批准号:
    19H04231
  • 负责人:
  • 金额:
    $ 10.9万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
  • 财政年份:
    2019
  • 资助国家:
    日本
  • 起止时间:
    2019-04-01 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

CGで構成される仮想的な人物(アバター)の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き(スタイル)に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議(Visual Computing)で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議(ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation)に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。
CG で constitute さ れ る 仮 think な character (ア バ タ ー) の body vibration り に す seaborne る expressive を high め る た め に, そ の personality あ る い は sensibility of な 徴 の yuan と な る imperceptible な dynamic き (ス タ イ ル) に variations in す に る technology group take り ん で い る. 2020 annual に は の usually move き と ス タ イ ル pay け さ れ た dynamic き の between で デ ー タ を some time in their に area cut っ た action part を パ タ ー ン as close し て in れ for え る technology を open 発 し, 2021 annual は そ の 発 exhibition form と し て, ス タ イ ル pay け さ れ た action part の collection を で き る だ け picture hiroo く use す る others な パ タ ー ン according to us Technology を import た. は こ れ ら の research results, when the eset で は で と の scale biggest domestic popularity を have す る check 読 pay き academic conference (Visual Computing) で mining 択 さ れ, oral 発 table し た. 2022 annual は, portrait 処 の eset で も sheng ん に import さ れ て い る Transformer モ デ ル に mesh し, こ れ を using し た パ タ ー ン drive the close の gimmick を 発 し た. Youdaoplaceholder5 youdaoplaceholder0 Transformer に base づ く gimmick に お い て も some time in their に area cut っ た action part を into れ for え る ア プ ロ ー チ を import す る が, each action part を natural speech の ト ー ク ン と み な し, そ の, 徴 の masato department before and after か ら context に quite す る intelligence を spare し て, body vibration り action の mean な tectonic を catch え た パ タ ー ン drive the us technology を 発 し た. さ ら に, ス タ イ ル variations in の results を に of quantitative evaluation of 価 す る gimmick に masato し て は not だ い に good モ デ ル が proposal さ れ て い な い が, body vibration り action に specialized し た, mean の 伝 da と ス タ イ ル の, 徴 を separation し を て error of the numerical に review 価 す る gimmick を test case し た. こ の gimmick に よ り, こ れ ま で に open 発 し た gimmick よ り も high precision の い variations in が may で あ る こ と を quantitative に shown し た. In 2022, the <s:1> research achievements <e:1>, when this field における most における 権 is presented at the <s:1> ある international conference (ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation) に is adopted 択され, and the international academic paper と と て is published された. ま た, 発 table content に masato even す る モ ー シ ョ ン キ ャ プ チ ャ デ ー タ と プ ロ グ ラ ム の ソ ー ス コ ー ド も making を with い て general public し た.

项目成果

期刊论文数量(17)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
人の関節回転角系列からの身体中心位置の推定
根据人体关节旋转角度序列估计身体中心位置
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    木佐省吾;遠藤結城;栗山繁
  • 通讯作者:
    栗山繁
注意機構を用いた身振り動作のスタイル変換
使用注意力机制进行手势动作的风格转换
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井 智彦;岩本 尚也;栗山 繁
  • 通讯作者:
    栗山 繁
化粧工程の分解に基づく顔画像の化粧スタイル転写
基于化妆过程分解的面部图像化妆风格迁移
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    若生翼 ; 高橋遼 ; 栗山繁
  • 通讯作者:
    栗山繁
パッチの再配置に基づくジェスチャーのスタイル変換
基于补丁重新定位的手势风格转换
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;安藤 大地;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
Analysis and Synthesis of Eye Movements for Conversational Agent
会话代理眼动分析与综合
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;安藤 大地;向井 智彦
  • 通讯作者:
    向井 智彦
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗山 繁其他文献

キャラクタアニメーション制作のデータドリブンな高能率化手法
数据驱动的角色动画制作高效方法
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    森島 繁生;栗山 繁;鈴木 唯道;平正 昭;川本 真一;四倉 達夫;中村 哲
  • 通讯作者:
    中村 哲
運動特徴解析と帰納推論を用いた人体動作データの分類
使用运动特征分析和归纳推理对人体运动数据进行分类
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    脇坂 健一;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
PCCS表色系に基づくクリップアートのスタイル識別
基于PCCS颜色系统的剪贴画风格识别
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁
  • 通讯作者:
    栗山 繁
Style-Based Content Exploration for Aesthetic Media Informatics
审美媒体信息学基于风格的内容探索
  • DOI:
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁;山田大輔,栗山 繁;Shigeru Kuriyama
  • 通讯作者:
    Shigeru Kuriyama
顔画像のスワイプ操作による動画生成
通过滑动人脸图像生成视频
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    西川 隆盛;栗山 繁
  • 通讯作者:
    栗山 繁

栗山 繁的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('栗山 繁', 18)}}的其他基金

動作データの非運動学的特徴の分離に基づく統合変換
基于运动数据非运动学特征分离的集成变换
  • 批准号:
    24K15247
  • 财政年份:
    2024
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Feature space learning for manipulating complicated motions
用于操纵复杂运动的特征空间学习
  • 批准号:
    21K19822
  • 财政年份:
    2021
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
選択と適応による創発的な構造を用いた形状設計システム
通过选择和适应使用紧急结构的形状设计系统
  • 批准号:
    11750320
  • 财政年份:
    1999
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了