权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Feature space learning for manipulating complicated motions

用于操纵复杂运动的特征空间学习

基本信息

批准号：
21K19822
负责人：
栗山繁
金额：
$ 3.99万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2021
资助国家：
日本
起止时间：
2021-07-09 至 2024-03-31
项目状态：
已结题

项目摘要

CGキャラクタを直観的に操作するための特徴空間の学習法として、様々な歩容動作を手指動作で対話的に制御するための深層学習のモデルを考案した。訓練および検証用のデータを収集するために手指の姿勢を認識できる非接触なデバイスを購入し、光学式のモーションキャプチャ装置を用いて計測された歩行を中心とする全身動作を模倣するような手指の動きを計測して、独自のデータセットを構築した。畳み込みニューラルネットワークを用いて、全身動作に関しては関節角度の時系列信号を、手指の動きに対しては関節位置を潜在変数空間に埋め込むことで、それらの動きの特徴空間を学習しながら変換する機構を構築した。この機構を用いて手指の操作で歩行動作を生成する実験を行なった結果、実時間制御の可能性を示せたが、微妙に異なる歩容の制御に関しては、手指操作の方法にさらなる工夫と改良が必要であることが認められた。また、手指の操作を停止させた場合に歩行の動きを自然に急停止させることが困難であることも判明した。手法の適用範囲を歩行のみで無く、より複雑な全身動作に拡張させるために、動きの周波数毎の強度と位相情報を抽出できるニューラルネットワーク（DeepPhase）を導入し、その出力を用いて手指の動きと全身動作を柔軟かつ頑健に関連付ける機構を開発した。これにより、部分的に周期性を有する上半身の動きに対しても、手指の動きで実時間操作することが可能となった。さらに複雑な条件として、歩行と同時かつ独立に演じられる上半身の動作を片手の手指での操作のみで逐次制御する実験を行なった結果、部分的に不自然な動きを生じてしまうことが判明し、機能の拡張に対する問題点が浮き彫りとなった。

A study on the learning method of feature space and the control method of finger motion Training and identification of the finger posture recognition, non-contact, optical and identification of the device to measure the movement of the whole body, the construction of the finger movement The motion of the finger is related to the joint angle and the time series signal. The motion of the finger is related to the joint position and the potential number space is related to the motion and the characteristic space is related to the motion and the time series signal. The mechanism uses the finger to operate the movement to generate the result, the time control possibility to display, the subtle time difference to control, the finger to operate the method to improve the time The operation of the finger is stopped. The movement is stopped naturally. The application range of the manipulation is zero, the complex movement is zero, the frequency of the movement is zero, the intensity of the movement is zero, the phase information is zero, the force is zero, the movement of the finger is zero, the movement of the whole body is zero, the mechanism is zero. The upper body of the body is moved in a periodic manner, and the fingers are moved in a timed manner. In addition, the condition of multiple movements and simultaneous movements are independent of the movement of the upper body and the operation of the fingers of the hand. The result of the movement is that some of the unnatural movements occur. The problem points of the function are floating.