Feature space learning for manipulating complicated motions

用于操纵复杂运动的特征空间学习

基本信息

批准号：
21K19822
负责人：
栗山繁
金额：
$ 3.99万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2021
资助国家：
日本
起止时间：
2021-07-09 至 2024-03-31
项目状态：
已结题

项目摘要

CGキャラクタを直観的に操作するための特徴空間の学習法として、様々な歩容動作を手指動作で対話的に制御するための深層学習のモデルを考案した。訓練および検証用のデータを収集するために手指の姿勢を認識できる非接触なデバイスを購入し、光学式のモーションキャプチャ装置を用いて計測された歩行を中心とする全身動作を模倣するような手指の動きを計測して、独自のデータセットを構築した。畳み込みニューラルネットワークを用いて、全身動作に関しては関節角度の時系列信号を、手指の動きに対しては関節位置を潜在変数空間に埋め込むことで、それらの動きの特徴空間を学習しながら変換する機構を構築した。この機構を用いて手指の操作で歩行動作を生成する実験を行なった結果、実時間制御の可能性を示せたが、微妙に異なる歩容の制御に関しては、手指操作の方法にさらなる工夫と改良が必要であることが認められた。また、手指の操作を停止させた場合に歩行の動きを自然に急停止させることが困難であることも判明した。手法の適用範囲を歩行のみで無く、より複雑な全身動作に拡張させるために、動きの周波数毎の強度と位相情報を抽出できるニューラルネットワーク（DeepPhase）を導入し、その出力を用いて手指の動きと全身動作を柔軟かつ頑健に関連付ける機構を開発した。これにより、部分的に周期性を有する上半身の動きに対しても、手指の動きで実時間操作することが可能となった。さらに複雑な条件として、歩行と同時かつ独立に演じられる上半身の動作を片手の手指での操作のみで逐次制御する実験を行なった結果、部分的に不自然な動きを生じてしまうことが判明し、機能の拡張に対する問題点が浮き彫りとなった。

作为用于直观操纵CG字符的特征空间的学习方法，我们设计了一个深度学习模型，用于使用手指运动进行交互性地控制各种步态运动。我们购买了一种非接触式设备，该设备可以识别手指的姿势以收集训练和验证数据，并通过测量手指运动来构建一个独特的数据集，这些手指运动模仿了使用光学运动捕获装置测量的步行中心的全身运动。使用卷积神经网络，构建了一种机制来转换整个身体运动的关节角度信号，并将关节位置嵌入到潜在的可变空间中以进行手指运动，并学习这些运动的特征空间。我们进行了一项实验，在该实验中，通过使用这种机制来操纵手指来产生步行运动，并显示了实时控制的可能性，但发现需要进一步改进和改进手动操纵方法，以实现步态控制略有不同。还发现，当手指停止时，很难自然会突然停止行走运动。为了扩展该技术的应用不仅扩大到步行的范围，而且扩大了更复杂的整个身体运动，我们引入了一个神经网络（Deepphase），该网络可以为每个运动频率提取强度和相位信息，并开发了一种机制，该机制使用输出来灵活，牢固地将手动和整个身体运动和整个身体运动。这使得使用手指的运动通过实时操作部分操作上半身的运动。此外，作为一个更复杂的条件，我们进行了一项实验，在该实验中，可以同时和独立地进行行走的上半身运动仅使用一只手和手指进行依次控制，结果发现，部分不自然的运动发生了，从而突出了功能扩展的问题。