Learning and realtime conversion of motion styles for non-verbal communication via avatar

通过头像学习和实时转换动作风格以进行非语言交流

基本信息

  • 批准号:
    19H04231
  • 负责人:
  • 金额:
    $ 10.9万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
  • 财政年份:
    2019
  • 资助国家:
    日本
  • 起止时间:
    2019-04-01 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

CGで構成される仮想的な人物(アバター)の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き(スタイル)に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議(Visual Computing)で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議(ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation)に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。
The CG is designed to be the person you want to know. You can use your strength to express your strength, to show your strength, and to show that you are sensitive to your feelings. You can use your special information to help you learn how to do things. In the year 2020, it is normal to pay for the operation of the vehicle during the period of the year 2020. During the period of the operation, the part of the operation will be registered for the opening of the technical system, the exhibition for the year of 2021, and the part of the assembly for the operation of the vehicle. According to the results of the research, the popularity of the largest size model in China is listed in the Visual Computing (Technical Conference) and oral table. In the year 2022, there is a great deal of attention in the field of painting and portrait management in the year 2022, which is based on the combination of pictures and pictures in the year 2022. In the year 2022, there is a great deal of attention in the art of painting and painting in the year 2022. During certain periods of time, the action part of the Transformer operation section is required to enter the device, the action part of the action section is the same as that of the action section, and the action part of the action section is similar to the one before and after the operation. it is necessary to draw out the information and start the Tech program, which means that the action should be done. The results showed that the quantitative method was used to determine the number of errors. The proposal, the action of physical vibration, which means that the number of errors was detected, the number of errors in the number of errors. It is possible to use a quantitative indication of the accuracy of the maneuver and the accuracy of the maneuver. The research results of the year 2022, the most prestigious international conference (ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation), the international academic literature and the international academic literature. The contents of the table, and the contents of the table.

项目成果

期刊论文数量(17)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
人の関節回転角系列からの身体中心位置の推定
根据人体关节旋转角度序列估计身体中心位置
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    木佐省吾;遠藤結城;栗山繁
  • 通讯作者:
    栗山繁
注意機構を用いた身振り動作のスタイル変換
使用注意力机制进行手势动作的风格转换
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井 智彦;岩本 尚也;栗山 繁
  • 通讯作者:
    栗山 繁
化粧工程の分解に基づく顔画像の化粧スタイル転写
基于化妆过程分解的面部图像化妆风格迁移
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    若生翼 ; 高橋遼 ; 栗山繁
  • 通讯作者:
    栗山繁
パッチの再配置に基づくジェスチャーのスタイル変換
基于补丁重新定位的手势风格转换
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;安藤 大地;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
Analysis and Synthesis of Eye Movements for Conversational Agent
会话代理眼动分析与综合
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    胡 博文;安藤 大地;向井 智彦
  • 通讯作者:
    向井 智彦
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗山 繁其他文献

キャラクタアニメーション制作のデータドリブンな高能率化手法
数据驱动的角色动画制作高效方法
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    森島 繁生;栗山 繁;鈴木 唯道;平正 昭;川本 真一;四倉 達夫;中村 哲
  • 通讯作者:
    中村 哲
運動特徴解析と帰納推論を用いた人体動作データの分類
使用运动特征分析和归纳推理对人体运动数据进行分类
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    脇坂 健一;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
PCCS表色系に基づくクリップアートのスタイル識別
基于PCCS颜色系统的剪贴画风格识别
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁
  • 通讯作者:
    栗山 繁
Style-Based Content Exploration for Aesthetic Media Informatics
审美媒体信息学基于风格的内容探索
  • DOI:
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁;山田大輔,栗山 繁;Shigeru Kuriyama
  • 通讯作者:
    Shigeru Kuriyama
顔画像のスワイプ操作による動画生成
通过滑动人脸图像生成视频
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    西川 隆盛;栗山 繁
  • 通讯作者:
    栗山 繁

栗山 繁的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('栗山 繁', 18)}}的其他基金

動作データの非運動学的特徴の分離に基づく統合変換
基于运动数据非运动学特征分离的集成变换
  • 批准号:
    24K15247
  • 财政年份:
    2024
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Feature space learning for manipulating complicated motions
用于操纵复杂运动的特征空间学习
  • 批准号:
    21K19822
  • 财政年份:
    2021
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
選択と適応による創発的な構造を用いた形状設計システム
通过选择和适应使用紧急结构的形状设计系统
  • 批准号:
    11750320
  • 财政年份:
    1999
  • 资助金额:
    $ 10.9万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了