ユーザの思い描いた動作を生成可能な深層ニューラルネットワークモデルの構築

点击翻译按钮获取中文摘要

3次元コンピュータグラフィックスを使用した映像コンテンツには人型のキャラクタが登場することが多く，キャラクタの動作を生成・制御することは重要なタスクである．本研究では，3次元コンピュータグラフィックスのキャラクタアニメーションの制作を容易にすることを目的とし，ユーザが思い描いた通りのキャラクタの動作を生成できるシステムの構築を目指す．具体的には，映画監督が俳優に言葉で演技指導を行うように，ユーザが言語を用いて指示することで3次元コンピュータグラフィックスのキャラクタの動作を生成・制御できるシステムを構築する．本研究では，動作の生成過程は複雑で非線形だと考え，この過程を深層ニューラルネットワークによりモデル化する．2022年度には，深層ニューラルネットワークの学習に使用するモーションキャプチャデータの収集・整形を行い，StyleGANを使用した動作生成モデルを構築した．StyleGANには様々な動作特徴を学習によって獲得し，局所的な特徴から大局的な特徴までレベル毎に記憶する機能と記憶された様々な動作特徴を適切に選択することで自然な動作を生成できる機能がある．また，StyleGANは動作を生成する途中の過程（中間潜在空間）において特徴量を選択することで生成した動作を制御できる可能性があることから，StyleGANを使用して動作生成モデルを構築した．構築したモデルは多様で自然な動作を生成できることと，同じカテゴリの動作が提案モデルの中間潜在空間において近い位置に分布していることを確認した．また，中間潜在空間において動作特徴量を選択することにより動作を制御できる可能性があることを示した．