AI on human motions for digital persona

デジタルペルソナとは、人間の趣味趣向や意思決定を通じて発現される身体運動や発話の情報表現としてのコンピュータモデルである。ロボティクス・コンピュータビジョン・AIの最新技術を駆使して、コンピュータが人間の行動を観察するだけで、その傾向や特性といった個性の抽出と類別化、人間の行動を言語化・アーカイブおよび再生する技術が基盤となる。令和４年度は、以下の研究項目に取り組み、人間の行動観察からそれを言語として表現するため環境を整備した。（A）ビデオモーションキャプチャ技術の開発スマートフォンにて撮影した画像中から、人間の身体運動を表現するに重要な身体部位（キーポイント：鼻、目、耳、首、肩、肘、手先、腰、膝、足先）をリアルタイムで検出する運動計測環境を整備した。身体運動は画像座標系におけるキーポイントの位置（X・Y座標）の数値として計測される。キーポイント位置座標から、カメラに対する人間の位置や身長などの被写体の大きさに不変な特徴量を設計した。（B）行動データと言語データの統合数理モデルの開発スマートフォンで計測した身体運動データに対して、動作名のラベルを人間が付与することによって、運動データと対応するラベルの組合せのデータセットを収集した。運動データから付与したラベルが生成される深層ニューラルネットワークをワークステーションにて設計することにより、スマートフォンにて撮影した映像から人間の行動を認識する計算を実現した。さらに、ワークステーションにて設計した運動の認識器モデルをスマートフォンに移植することによって、スマートフォンを撮影した人間の映像から骨格キーポイントの位置を検出し、その数値データから動作を識別することを可能にした。人間の身体運動を計測する技術、運動を認識する技術を誰でもが簡易に利用できる技術の基盤となる。

デジタルペルソナとは、人間の趣味趣向や意思決定を通じて発現される身体運動や発話の情報表現としてのコンピュータモデルである。ロボティクス・コンピュータビジョン・AIの最新技術を駆使して、コンピュータが人間の行動を観察するだけで、その傾向や特性といった個性の抽出と類別化、人間の行動を言語化・アーカイブおよび再生する技術が基盤となる。令和４年度は、以下の研究項目に取り組み、人間の行動観察からそれを言語として表現するため環境を整備した。（A）ビデオモーションキャプチャ技術の開発スマートフォンにて撮影した画像中から、人間の身体運動を表現するに重要な身体部位（キーポイント：鼻、目、耳、首、肩、肘、手先、腰、膝、足先）をリアルタイムで検出する運動計測環境を整備した。身体運動は画像座標系におけるキーポイントの位置（X・Y座標）の数値として計測される。キーポイント位置座標から、カメラに対する人間の位置や身長などの被写体の大きさに不変な特徴量を設計した。（B）行動データと言語データの統合数理モデルの開発スマートフォンで計測した身体運動データに対して、動作名のラベルを人間が付与することによって、運動データと対応するラベルの組合せのデータセットを収集した。運動データから付与したラベルが生成される深層ニューラルネットワークをワークステーションにて設計することにより、スマートフォンにて撮影した映像から人間の行動を認識する計算を実現した。さらに、ワークステーションにて設計した運動の認識器モデルをスマートフォンに移植することによって、スマートフォンを撮影した人間の映像から骨格キーポイントの位置を検出し、その数値データから動作を識別することを可能にした。人間の身体運動を計測する技術、運動を認識する技術を誰でもが簡易に利用できる技術の基盤となる。