実技学習支援を目的とした深層学習による3Dボディ生成システムの開発

使用深度学习开发 3D 人体生成系统以支持实践学习

• 批准号: 21K12175
• 负责人: 獅々堀 正幹
• 金额: $ 2.58万
• 依托单位: The University of Tokushima
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12175/
• 关键词: 深層学習; 学習支援; 姿勢推定; 拡張現実; 3D

本研究の目的は，深層学習技術を用いて画像や映像に写っている2D被写体を立体的な3次元モデル（3Dボディ）に変換するシステムを開発することである．また，実技を伴う教育現場やトレーニング施設にシステムを導入し，実技学習支援への有効性を検証することである．本研究では，高額な3Dスキャナー機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換する技術を研究開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下してしまう．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能な技術を研究開発する．研究期間中に3Dボディ修正部と予測モデルチューニング部を開発する．3Dボディ修正部では，従来の予測モデルで生成された3Dボディを対象にし，撮影方向の異なる数枚の画像から生成された3Dボディを統合することで不適切な部分を修正する．次に予測モデルチューニング部では，誤差が修正された3Dボディを正解データとし，従来の予測モデルのパラメータを調整する．令和4年度までに，3Dボディ修正部の開発を完了した．基本的に正面と側面から撮影した画像を用いて修正するが，撮影方向と修正可能な部位の関係，統合に用いる画像数と精度との関係を検証した．更に，予測モデルチューニング部の開発にも成功した．予測モデルのチューニング法としては，深層学習モデルの最終層近くだけをチューニングする技術を開発した．

The purpose of this study is to develop deep learning techniques for 2D objects, 3D objects and 3D images. The introduction of technical support for the implementation of the education site. This study aims to explore the technology of 3D image transformation for 2D object in general environment. In recent years, deep learning technology has been used in the field of 3D technology generation. Foreigner's body is not suitable for Japanese. This study aims to investigate the possible mitigation of the low accuracy of existing prediction techniques and to develop new techniques for learning the causes of body size differences. 3D Display Correction Unit: 3D Display Correction Unit Next, the error correction is performed on the 3D model, and the error correction is performed on the predicted model. The development of the 3D correction department has been completed. Basic front and bottom images are corrected by using the correction method. The correction method is based on the correction method. The correction method is based on the correction method. In addition, it is expected that the development of the Ministry of Information Technology will be successful. A new approach to predicting the future of a computer is being developed.

项目成果

Tsunami Evacuation Drill System Focusing on Mobile Devices

以移动设备为重点的海啸疏散演习系统

• DOI: 10.3991/ijim.v16i06.23419
• 发表时间: 2022
• 期刊: International Journal of Interactive Mobile Technologies (iJIM)
• 作者: Mitsuhara Hiroyuki;Shishibori Masami
• 通讯作者: Shishibori Masami

Development of a 3D visualization system for the cerebral aneurysm coil embolization

脑动脉瘤弹簧圈栓塞3D可视化系统的开发

• 发表时间: 2021
• 作者: Harumi Kadota;Shoma Fujisawa;Masaki Oono;Ryoma Morigaki;Nobuaki Yamamoto;Yasuhisa Kanematsu;Manabu Ishihara and Masami Shishibori
• 通讯作者: Manabu Ishihara and Masami Shishibori

A Mobile Application for Earthquake Education Targeting Foreigners Intending to Visit Japan

针对打算访问日本的外国人的地震教育移动应用程序

• DOI: 10.3991/ijim.v16i24.35479
• 发表时间: 2022
• 期刊: International Journal of Interactive Mobile Technologies (iJIM)
• 作者: Liu Meiqin;Mitsuhara Hiroyuki;Shishibori Masami
• 通讯作者: Shishibori Masami

Observing Evacuation Behaviours of Surprised Participants in Virtual Reality Earthquake Simulator

在虚拟现实地震模拟器中观察惊讶参与者的疏散行为

• 发表时间: 2021
• 作者: Hiroyuki Mitsuhara;TANIOKA Itsuki and Masami Shishibori
• 通讯作者: TANIOKA Itsuki and Masami Shishibori

－Pythonでデータサイエンス－ AI・機械学習のためのデータ前処理 ［実践編］

-Python数据科学-人工智能/机器学习的数据预处理[实用版]

• 发表时间: 2021
• 作者: 北 研二;松本 和幸;吉田 稔;獅々堀 正幹;大野 将樹
• 通讯作者: 大野 将樹