人物動作の推定による実写画像とCGの合成

通过估计人体运动将实景图像和 CG 结合起来

• 批准号: 13780214
• 负责人: 星野 准一
• 金额: $ 1.34万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780214/
• 关键词: 実写とCGの合成; 仮想ファッション; 人物動作推定; 人物動作の推定; 衣服シミュレーション; 物理モデリング

CGベースの仮想衣服の生成方法としては,布の特性値を考慮したシミュレーションや,ゴム板などの弾性体をシミュレーションした結果を利用するものなどさまざまな手法が提案されている.しかし,従来のCGベースの衣服では複雑な形状の衣服の作成や,複雑なしわの生成が難しく,合成結果が不自然に見えるという問題があった.そこで,本研究では,動作推定ソフトウェアから得られた人物動作の推定結果と実写映像とを用いて,実写ベースの仮想衣服を生成・合成する手法を提案した.実写ベースの仮想衣服を生成・合成するために,仮想衣服用の映像と,利用者の映像をあらかじめ用意し,利用者の姿勢に類似する姿勢の衣服画像を,衣服映像の中から選択し,合成する.そのため,利用者の姿勢・動作とまったく異なった姿勢・動作の衣服映像から利用者の姿勢・動作にあった衣服画像を得ることは難しい.そこで,入力映像中の人物の動作を歩く,回転するという基本的な動作のみに限定した.また,衣服映像は,仮想衣服としたい衣服を着用している人物に入力映像の人物に近い姿勢・動作をさせたものとした.更に,CGベースのヘアスタイルの生成方法としては,頭部の3次元モデルに短冊状に細い髪を貼り付けて,髪の模様をテクスチャマッピングするなどの手法がある.しかし,CGベースの仮想衣服同様,複雑な形状のヘアスタイルの作成や,複雑な髪のシミュレーションが難しく,合成結果が不自然に見えるという問題があった.そこで,本研究では,頭部の3次元姿勢の推定結果と実写映像とを用いて,実写ベースのヘアスタイルを生成・合成する手法を提案した.

CG design and clothing production method, considering the characteristics of the cloth, the characteristics of the board, the results of the use of the cloth, the method of making proposals. The clothes are made in the shape of a compound, the compound is difficult to generate, and the synthetic result is unnatural. In this study, we propose a method for the generation and synthesis of clothes for the purpose of motion estimation and the use of images. To create and synthesize images for clothes, images for users, images for users, images for clothes in similar poses, images for clothes, images for clothes, images for users, images for clothes, images for clothes. The user's posture, action, clothing, image, etc. In addition, the movement of the characters in the force image is limited to the basic movement. For example, if you want to wear clothes, you should wear clothes. In addition, the CG model of the head of the three-dimensional structure of the short book shape of the thin film paste, the model of the model of the head of the three-dimensional structure of the head of the three-dimensional structure. In addition, the CG model is similar to the clothing model, the complex shape is similar to the clothing model, and the complex shape is difficult to make. The synthetic result is unnatural. In this study, we propose a method to estimate the three-dimensional posture of the head and to generate and synthesize the three-dimensional posture.

项目成果

星野准一, 斉藤啓史: "ビデオ映像とCGの合成によるヴァーチャルファッションの実現"情報処理学会論文誌. Vol.42 No.5. 1182-1193 (2001)

Junichi Hoshino、Keishi Saito：“通过结合视频图像和 CG 来实现虚拟时尚”，日本信息处理学会汇刊第 42 卷第 1182-1193 期（2001 年）。

星野敦, 星野准一: "動力学モデルに基づくビデオモーションキャプチャ"日本バーチャルリアリティ学会論文誌. Vol.7 No.4. 471-480 (2002)

Atsushi Hoshino，Junichi Hoshino：“基于动态模型的视频动作捕捉”日本虚拟现实学会杂志第 7 卷第 471-480 期（2002 年）。

Junichi Hoshino, Yumi Hoshino: "Intelligent Storyboard for Prototyping Animation"IEEE Int.Conf.on Multimedia and Expo,ICME2001. FAI.03 (2001)

Junichi Hoshino，Yumi Hoshino：“原型动画的智能故事板”IEEE Int.Conf.on Multimedia and Expo，ICME2001。