Deep Learning-based Real-time 3D Human Pose Forecasting and its Application on Sports

最終年度（半年間）において，今まで開発した人間姿勢予測システムとその検証実験の結果をまとめ、それを基に既存システムの社会実装を行った。今までのように一種類のスポーツや技能に特化したモデルではなく、異なる技能において初心者と上級者の予測特徴を学習した、より普遍的な技能習得システムの開発に力を入れた。既存システムはすでに卓球、スキー、格闘技に応用し、その練習効果を証明している。それらのデータを基に技能データベースを構築し、異なる競技（５種類）の異なるレベル（初心者からプロまで）の選手データを収録した。その技能データベースはオープンソースで公開され、誰でも簡単に予測モデルを学習させるができる。また、提案した技能データベースを使用し、データベースに無い技能への応用も検証した。実際では、ゴルフとピアノ演奏において予測モデルを使用し、ゴルフスウィングの姿勢やピアノの手の動きの予測に成功し、モデルの汎用性を証明した。同論文は国際学会のAHs2023とCHI2023に発表済みで、またそれの関連研究が2022年度のAIPチャレンジにおいてラボ長賞を受賞されました。これにより、本研究は高速かつ高精度の汎用型技能予測モデルの作成に成功し、当分野に大きくインパクトを与えた。今後、本研究のシステムを使用した様々な技能学習アプリケーションの開発は期待できる。

最終年度（半年間）において，今まで開発した人間姿勢予測システムとその検証実験の結果をまとめ、それを基に既存システムの社会実装を行った。今までのように一種類のスポーツや技能に特化したモデルではなく、異なる技能において初心者と上級者の予測特徴を学習した、より普遍的な技能習得システムの開発に力を入れた。既存システムはすでに卓球、スキー、格闘技に応用し、その練習効果を証明している。それらのデータを基に技能データベースを構築し、異なる競技（５種類）の異なるレベル（初心者からプロまで）の選手データを収録した。その技能データベースはオープンソースで公開され、誰でも簡単に予測モデルを学習させるができる。また、提案した技能データベースを使用し、データベースに無い技能への応用も検証した。実際では、ゴルフとピアノ演奏において予測モデルを使用し、ゴルフスウィングの姿勢やピアノの手の動きの予測に成功し、モデルの汎用性を証明した。同論文は国際学会のAHs2023とCHI2023に発表済みで、またそれの関連研究が2022年度のAIPチャレンジにおいてラボ長賞を受賞されました。これにより、本研究は高速かつ高精度の汎用型技能予測モデルの作成に成功し、当分野に大きくインパクトを与えた。今後、本研究のシステムを使用した様々な技能学習アプリケーションの開発は期待できる。