Feature space learning for manipulating complicated motions

用于操纵复杂运动的特征空间学习

基本信息

  • 批准号:
    21K19822
  • 负责人:
  • 金额:
    $ 3.99万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
  • 财政年份:
    2021
  • 资助国家:
    日本
  • 起止时间:
    2021-07-09 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

CGキャラクタを直観的に操作するための特徴空間の学習法として、様々な歩容動作を手指動作で対話的に制御するための深層学習のモデルを考案した。訓練および検証用のデータを収集するために手指の姿勢を認識できる非接触なデバイスを購入し、光学式のモーションキャプチャ装置を用いて計測された歩行を中心とする全身動作を模倣するような手指の動きを計測して、独自のデータセットを構築した。畳み込みニューラルネットワークを用いて、全身動作に関しては関節角度の時系列信号を、手指の動きに対しては関節位置を潜在変数空間に埋め込むことで、それらの動きの特徴空間を学習しながら変換する機構を構築した。この機構を用いて手指の操作で歩行動作を生成する実験を行なった結果、実時間制御の可能性を示せたが、微妙に異なる歩容の制御に関しては、手指操作の方法にさらなる工夫と改良が必要であることが認められた。また、手指の操作を停止させた場合に歩行の動きを自然に急停止させることが困難であることも判明した。手法の適用範囲を歩行のみで無く、より複雑な全身動作に拡張させるために、動きの周波数毎の強度と位相情報を抽出できるニューラルネットワーク(DeepPhase)を導入し、その出力を用いて手指の動きと全身動作を柔軟かつ頑健に関連付ける機構を開発した。これにより、部分的に周期性を有する上半身の動きに対しても、手指の動きで実時間操作することが可能となった。さらに複雑な条件として、歩行と同時かつ独立に演じられる上半身の動作を片手の手指での操作のみで逐次制御する実験を行なった結果、部分的に不自然な動きを生じてしまうことが判明し、機能の拡張に対する問題点が浮き彫りとなった。
CG キャラクタをdirect operation するためのspecial space のlearning method として、様々なThe にするためのdeep learning and のモデルをtest case した of the にるためのdeep learning of the にappearance and finger movements. Training および検 certificate uses のデータを collection するために finger posture を recognition Non-contact contactless contactless purchase, optical contactless contactless contactless contactless contactless contactless contactless contactless contactless contactless contactless contactless contactless The device is used to measure the center of the movement and imitate the movements of the whole body. The movements of the fingers are measured, and the movements of the fingers are measured and constructed independently.畳み込みニューラルネットワークを用いて, whole body movement に关しては joint angle の时 series signal を, finger movement きに対しては Joint position を potential value space に bury め込 む こ と で, そ れ ら の kinetic き の special 徴 space を learning し な ら 変 change す る mechanism を structuring し た. The mechanism is used to operate the finger and the action is to generate the result, the possibility of time control is shown, Subtle and different control of the control and control of the gate, finger operation of the method and improvement of the necessary skills and techniques.また, finger operation のstop させた occasion に歩行 のmoving きを natural にemergency stop させることがdifficulty であることも clarification した. The applicable scope of the technique is 囲を歩行のみで无く, よりFU雑なwhole-body movement に拡张させるために、moving きのCycle number のstrength and phase information をdraw できるニューラルネットワーク (DeepPhase) を introduction し, そ の 力 を い て finger の movement き と whole body action を soft か つ stubborn に connection connection け る mechanism を 発 し た.これにより, partial にcyclical を有する upper body movement きに対しても, finger movement きで実 time operation することがpossible となった.さらに曑なconditionsとして、歩行とsimultaneousかつIndependentにactingじられる Upper body actionの手のFingerでのoperationのみで successive controlする実験を行なった results, partial にunnatural なmoving きを生じてしまうことが clarification, and functional の拡张に対するproblem points が float and carve りとなった.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Geometric Deformation of Virtual Character Animation Using Cascaded Spacetime Constraints
使用级联时空约束的虚拟角色动画的几何变形
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井智彦;岩本 尚也;Tomohiko Mukai
  • 通讯作者:
    Tomohiko Mukai
深層学習による顔アニメーションリターゲティングの検討
使用深度学习进行面部动画重定向的考虑
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    竇宇豪;向井智彦
  • 通讯作者:
    向井智彦
手指の動きを用いたアニメーションの生成
使用手指动作生成动画
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    纐纈 真太郎;栗山 繁
  • 通讯作者:
    栗山 繁
Transformation Constraints Using Approximate Spherical Regression
使用近似球面回归的变换约束
音声データからの感情推定を用いたリップシンクモーションの自動生成
使用音频数据的情绪估计自动生成唇形同步运动
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小南悠人;向井智彦
  • 通讯作者:
    向井智彦
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗山 繁其他文献

伸縮性パッチを用いた動作スタイルのゼロショット変換
使用可拉伸补丁进行运动风格的零次转换
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井 智彦;岩本 尚也;栗山 繁;向井智彦;栗山 繁
  • 通讯作者:
    栗山 繁
キャラクタアニメーション制作のデータドリブンな高能率化手法
数据驱动的角色动画制作高效方法
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    森島 繁生;栗山 繁;鈴木 唯道;平正 昭;川本 真一;四倉 達夫;中村 哲
  • 通讯作者:
    中村 哲
運動特徴解析と帰納推論を用いた人体動作データの分類
使用运动特征分析和归纳推理对人体运动数据进行分类
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    脇坂 健一;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
PCCS表色系に基づくクリップアートのスタイル識別
基于PCCS颜色系统的剪贴画风格识别
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁
  • 通讯作者:
    栗山 繁
Style-Based Content Exploration for Aesthetic Media Informatics
审美媒体信息学基于风格的内容探索
  • DOI:
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁;山田大輔,栗山 繁;Shigeru Kuriyama
  • 通讯作者:
    Shigeru Kuriyama

栗山 繁的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('栗山 繁', 18)}}的其他基金

動作データの非運動学的特徴の分離に基づく統合変換
基于运动数据非运动学特征分离的集成变换
  • 批准号:
    24K15247
  • 财政年份:
    2024
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Learning and realtime conversion of motion styles for non-verbal communication via avatar
通过头像学习和实时转换动作风格以进行非语言交流
  • 批准号:
    19H04231
  • 财政年份:
    2019
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
選択と適応による創発的な構造を用いた形状設計システム
通过选择和适应使用紧急结构的形状设计系统
  • 批准号:
    11750320
  • 财政年份:
    1999
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了