三次元・ダイナミクスを制御可能な画像・動画像生成モデルの教師無し学習による構築

点击翻译按钮获取中文摘要

本研究では，三次元形状や姿勢のラベルが付いていない画像や動画像のデータから，映っている物体の三次元形状や物体の構造を推定し，その物体について三次元形状・構造・変形・見た目などの情報を明示的に自由に制御可能な画像・動画像生成モデルを構築する.本年度はまず，物体の骨格構造に関する事前知識を得られるという条件で，アノテーションがついていない二次元画像のみから物体の見た目・三次元形状・姿勢などを三次元的に自在に制御可能な画像生成モデルを教師なしで学習する手法の研究について，昨年度に引き続き取り組んだ．以前提案した多関節物体に特化した三次元表現を，敵対的生成ネットワークと呼ばれる画像生成モデルを用いた教師なし学習により学習する手法を提案した．得られた研究成果はコンピュータビジョン分野のトップ会議であるECCV2022に採択された．また，同様の学習や生成を，従来の手法と比較して効率よく行う新たな手法の考案を行った．次に，動いている関節物体を撮影した単眼動画のみから，関節位置のアノテーションや物体の構造に関する事前知識を一切使用せずに，物体の三次元形状・見た目・動き・パーツの分解・物体の明示的な構造を同時に再構成する手法を提案した．本手法は，物体に関する事前情報を使用しないため，物体の構造によらず学習可能である．また，物体の明示的な構造を推定するため，物体のポーズを自由に変化させながら画像を生成することができる．