実技学習支援を目的とした深層学習による3Dボディ生成システムの開発

本研究の目的は，深層学習技術を用いて画像や映像に写っている2D被写体を立体的な3次元モデル（3Dボディ）に変換するシステムを開発することである．また，実技を伴う教育現場やトレーニング施設にシステムを導入し，実技学習支援への有効性を検証することである．本研究では，高額な3Dスキャナー機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換する技術を研究開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下してしまう．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能な技術を研究開発する．研究期間中に3Dボディ修正部と予測モデルチューニング部を開発する．3Dボディ修正部では，従来の予測モデルで生成された3Dボディを対象にし，撮影方向の異なる数枚の画像から生成された3Dボディを統合することで不適切な部分を修正する．次に予測モデルチューニング部では，誤差が修正された3Dボディを正解データとし，従来の予測モデルのパラメータを調整する．令和4年度までに，3Dボディ修正部の開発を完了した．基本的に正面と側面から撮影した画像を用いて修正するが，撮影方向と修正可能な部位の関係，統合に用いる画像数と精度との関係を検証した．更に，予測モデルチューニング部の開発にも成功した．予測モデルのチューニング法としては，深層学習モデルの最終層近くだけをチューニングする技術を開発した．

本研究の目的は，深層学習技術を用いて画像や映像に写っている2D被写体を立体的な3次元モデル（3Dボディ）に変換するシステムを開発することである．また，実技を伴う教育現場やトレーニング施設にシステムを導入し，実技学習支援への有効性を検証することである．本研究では，高額な3Dスキャナー機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換する技術を研究開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下してしまう．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能な技術を研究開発する．研究期間中に3Dボディ修正部と予測モデルチューニング部を開発する．3Dボディ修正部では，従来の予測モデルで生成された3Dボディを対象にし，撮影方向の異なる数枚の画像から生成された3Dボディを統合することで不適切な部分を修正する．次に予測モデルチューニング部では，誤差が修正された3Dボディを正解データとし，従来の予測モデルのパラメータを調整する．令和4年度までに，3Dボディ修正部の開発を完了した．基本的に正面と側面から撮影した画像を用いて修正するが，撮影方向と修正可能な部位の関係，統合に用いる画像数と精度との関係を検証した．更に，予測モデルチューニング部の開発にも成功した．予測モデルのチューニング法としては，深層学習モデルの最終層近くだけをチューニングする技術を開発した．