Feature space learning for manipulating complicated motions

用于操纵复杂运动的特征空间学习

基本信息

  • 批准号:
    21K19822
  • 负责人:
  • 金额:
    $ 3.99万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
  • 财政年份:
    2021
  • 资助国家:
    日本
  • 起止时间:
    2021-07-09 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

CGキャラクタを直観的に操作するための特徴空間の学習法として、様々な歩容動作を手指動作で対話的に制御するための深層学習のモデルを考案した。訓練および検証用のデータを収集するために手指の姿勢を認識できる非接触なデバイスを購入し、光学式のモーションキャプチャ装置を用いて計測された歩行を中心とする全身動作を模倣するような手指の動きを計測して、独自のデータセットを構築した。畳み込みニューラルネットワークを用いて、全身動作に関しては関節角度の時系列信号を、手指の動きに対しては関節位置を潜在変数空間に埋め込むことで、それらの動きの特徴空間を学習しながら変換する機構を構築した。この機構を用いて手指の操作で歩行動作を生成する実験を行なった結果、実時間制御の可能性を示せたが、微妙に異なる歩容の制御に関しては、手指操作の方法にさらなる工夫と改良が必要であることが認められた。また、手指の操作を停止させた場合に歩行の動きを自然に急停止させることが困難であることも判明した。手法の適用範囲を歩行のみで無く、より複雑な全身動作に拡張させるために、動きの周波数毎の強度と位相情報を抽出できるニューラルネットワーク(DeepPhase)を導入し、その出力を用いて手指の動きと全身動作を柔軟かつ頑健に関連付ける機構を開発した。これにより、部分的に周期性を有する上半身の動きに対しても、手指の動きで実時間操作することが可能となった。さらに複雑な条件として、歩行と同時かつ独立に演じられる上半身の動作を片手の手指での操作のみで逐次制御する実験を行なった結果、部分的に不自然な動きを生じてしまうことが判明し、機能の拡張に対する問題点が浮き彫りとなった。
A study on the learning method of feature space and the control method of finger motion Training and identification of the finger posture recognition, non-contact, optical and identification of the device to measure the movement of the whole body, the construction of the finger movement The motion of the finger is related to the joint angle and the time series signal. The motion of the finger is related to the joint position and the potential number space is related to the motion and the characteristic space is related to the motion and the time series signal. The mechanism uses the finger to operate the movement to generate the result, the time control possibility to display, the subtle time difference to control, the finger to operate the method to improve the time The operation of the finger is stopped. The movement is stopped naturally. The application range of the manipulation is zero, the complex movement is zero, the frequency of the movement is zero, the intensity of the movement is zero, the phase information is zero, the force is zero, the movement of the finger is zero, the movement of the whole body is zero, the mechanism is zero. The upper body of the body is moved in a periodic manner, and the fingers are moved in a timed manner. In addition, the condition of multiple movements and simultaneous movements are independent of the movement of the upper body and the operation of the fingers of the hand. The result of the movement is that some of the unnatural movements occur. The problem points of the function are floating.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Geometric Deformation of Virtual Character Animation Using Cascaded Spacetime Constraints
使用级联时空约束的虚拟角色动画的几何变形
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井智彦;岩本 尚也;Tomohiko Mukai
  • 通讯作者:
    Tomohiko Mukai
深層学習による顔アニメーションリターゲティングの検討
使用深度学习进行面部动画重定向的考虑
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    竇宇豪;向井智彦
  • 通讯作者:
    向井智彦
手指の動きを用いたアニメーションの生成
使用手指动作生成动画
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    纐纈 真太郎;栗山 繁
  • 通讯作者:
    栗山 繁
Transformation Constraints Using Approximate Spherical Regression
使用近似球面回归的变换约束
音声データからの感情推定を用いたリップシンクモーションの自動生成
使用音频数据的情绪估计自动生成唇形同步运动
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小南悠人;向井智彦
  • 通讯作者:
    向井智彦
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗山 繁其他文献

伸縮性パッチを用いた動作スタイルのゼロショット変換
使用可拉伸补丁进行运动风格的零次转换
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    向井 智彦;岩本 尚也;栗山 繁;向井智彦;栗山 繁
  • 通讯作者:
    栗山 繁
キャラクタアニメーション制作のデータドリブンな高能率化手法
数据驱动的角色动画制作高效方法
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    森島 繁生;栗山 繁;鈴木 唯道;平正 昭;川本 真一;四倉 達夫;中村 哲
  • 通讯作者:
    中村 哲
運動特徴解析と帰納推論を用いた人体動作データの分類
使用运动特征分析和归纳推理对人体运动数据进行分类
  • DOI:
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    脇坂 健一;向井 智彦;栗山 繁
  • 通讯作者:
    栗山 繁
PCCS表色系に基づくクリップアートのスタイル識別
基于PCCS颜色系统的剪贴画风格识别
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁
  • 通讯作者:
    栗山 繁
Style-Based Content Exploration for Aesthetic Media Informatics
审美媒体信息学基于风格的内容探索
  • DOI:
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    舘山 北斗;栗山 繁;山田大輔,栗山 繁;Shigeru Kuriyama
  • 通讯作者:
    Shigeru Kuriyama

栗山 繁的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('栗山 繁', 18)}}的其他基金

動作データの非運動学的特徴の分離に基づく統合変換
基于运动数据非运动学特征分离的集成变换
  • 批准号:
    24K15247
  • 财政年份:
    2024
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Learning and realtime conversion of motion styles for non-verbal communication via avatar
通过头像学习和实时转换动作风格以进行非语言交流
  • 批准号:
    19H04231
  • 财政年份:
    2019
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
選択と適応による創発的な構造を用いた形状設計システム
通过选择和适应使用紧急结构的形状设计系统
  • 批准号:
    11750320
  • 财政年份:
    1999
  • 资助金额:
    $ 3.99万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了