Deep Learning-based Real-time 3D Human Pose Forecasting and its Application on Sports

基于深度学习的实时3D人体姿势预测及其在体育运动中的应用

• 批准号: 20J20197
• 负责人: WU ERWIN
• 金额: $ 1.98万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J20197/
• 关键词: 姿勢予測; 深層学習; コンピュータビジョン; 技能習得; ヒューマンコンピュータインタラクション; 仮想現実; スポーツ練習; スポーツ; 卓球

最終年度（半年間）において，今まで開発した人間姿勢予測システムとその検証実験の結果をまとめ、それを基に既存システムの社会実装を行った。今までのように一種類のスポーツや技能に特化したモデルではなく、異なる技能において初心者と上級者の予測特徴を学習した、より普遍的な技能習得システムの開発に力を入れた。既存システムはすでに卓球、スキー、格闘技に応用し、その練習効果を証明している。それらのデータを基に技能データベースを構築し、異なる競技（５種類）の異なるレベル（初心者からプロまで）の選手データを収録した。その技能データベースはオープンソースで公開され、誰でも簡単に予測モデルを学習させるができる。また、提案した技能データベースを使用し、データベースに無い技能への応用も検証した。実際では、ゴルフとピアノ演奏において予測モデルを使用し、ゴルフスウィングの姿勢やピアノの手の動きの予測に成功し、モデルの汎用性を証明した。同論文は国際学会のAHs2023とCHI2023に発表済みで、またそれの関連研究が2022年度のAIPチャレンジにおいてラボ長賞を受賞されました。これにより、本研究は高速かつ高精度の汎用型技能予測モデルの作成に成功し、当分野に大きくインパクトを与えた。今後、本研究のシステムを使用した様々な技能学習アプリケーションの開発は期待できる。

Final year (half year) に お い て, today ま で open 発 し た human posture can be シ ス テ ム と そ の 検 card be 験 の results を ま と め, そ れ を base に existing シ ス テ ム の society be loaded line を っ た. Today ま で の よ う に kind の ス ポ ー ツ や skills に specialized し た モ デ ル で は な く, different な る skills に お い て beginner's mind is と leader の to measure, 徴 を learning し た, よ り common な skills acquisition シ ス テ ム の open 発 を に force into the れ た. Existing シ ス テ ム は す で に ZhuoQiu, ス キ 闘 ー, grid technology に 応 し, そ の practice working fruit を prove し て い る. そ れ ら の デ ー タ を base に skills デ ー タ ベ ー ス を build し, different な る competitive (5 species) の different な る レ ベ ル (beginner's mind か ら プ ロ ま で) の player デ ー タ を 収 recorded し た. そ の skills デ ー タ ベ ー ス は オ ー プ ン ソ ー ス で public さ れ, who で も Jane 単 に be モ デ ル を learning さ せ る が で き る. ま た, proposal し た skills デ ー タ ベ ー ス を use し, デ ー タ ベ ー ス に no い skills へ の 応 with も 検 card し た. Be interstate で は, ゴ ル フ と ピ ア ノ play に お い て in measuring モ デ ル を use し, ゴ ル フ ス ウ ィ ン グ の posture や ピ ア ノ の hand の dynamic き の to に し success, モ デ ル の domestic sex を prove し た. With paper は international society の AHs2023 と CHI2023 に 発 table 済 み で, ま た そ れ の masato even research が 2022 の AIP チ ャ レ ン ジ に お い て ラ ボ long enjoy を who さ れ ま し た. こ れ に よ り, this study は high-speed か つ high-precision の universal skills to the test モ デ ル の make に し success, when eset に き く イ ン パ ク ト を and え た. In the future, in this study, <s:1> システムを will use た た and 々な skills to learn アプリケ ショ ショ <e:1> <s:1> development is expected to で る る.

项目成果

研究者研究内容ウェブページ

研究人员研究内容网页

JST CREST 技能獲得プロジェクト

JST CREST技能学习项目

SkiSim: A comprehensive Study on Full Body Motion Capture and Real-TimeFeedback in VR Ski Training

SkiSim：VR滑雪训练中全身动作捕捉和实时反馈的综合研究

• 发表时间: 2022
• 作者: J. Hoffard;X. Zhang;E. Wu;T. Nakamura;H. Koike
• 通讯作者: H. Koike

Using Rhythm Game to Train Rhythmic Motion in Sports

利用节奏游戏训练运动中的节奏动作

• 发表时间: 2022
• 作者: Hidetaka Katsuyama;Erwin Wu;Hideki Koike
• 通讯作者: Hideki Koike

Temporal and Spatial Distortion for VR Rhythmic Skill Training

VR节奏技能训练的时空扭曲

• 发表时间: 2022
• 作者: Takashi Matsumoto;Erwin Wu;Hideki Koike
• 通讯作者: Hideki Koike