ウェアラブルセンサを用いたOne-model-fits-all行動認識の研究開発

行動認識技術とは、ユーザの体に装着したセンサから得られたセンサデータを解析し、そのユーザの行動を推定する技術である。体に装着したセンサを使用するため、センサの装着場所や装着方法が認識精度に大きな影響を与える。本年度はこの問題の解決に向けたデータセットの構築と、装着位置の行動認識性能への影響の評価を試みた。センサの装着位置・方法と認識精度の関係を正確に調べるため、物流センタにおける梱包作業を記録したマルチモーダルデータセット「OpenPack Dataset」を構築した。6個のウェアラブルセンサを含めて、16人の被験者から53時間を上回るデータを収集することができた。これは既存の作業行動認識データセットとして最大級である。構築したOpenPack Datasetには、3次元の骨格情報も含まれる。センサの装着位置と認識精度の関係を、ウェアラブルセンサから直接収集したデータと、3次元の骨格情報から計算した加速度データを用いて分析した。センサから収集したデータを用いた検証では、どのセンサも80％程度の精度で認識できるが、左上腕のセンサは常にスコアが低い傾向にあるなどの影響が確認できた。また、3次元骨格情報を用いた検証では、加速度データの生成から認識までのパイプラインの構築と装着位置による認識精度への影響も確認できたが、実際のセンサに比べて精度が低いなど改善点も明らかになった。データセットの構築だけではなく、データセットの活用を進めるため 国際会議 Percom 2023 WS BiRDにおいて、「OpenPack Challenge 2022」という行動認識コンペティションを実施した。本コンペでは、33チーム、106名の参加登録があり、延べ28,153回のダウンロードがあった。これらの数字からも、構築したデータセットが他の研究者からも注目度が高いものであることがわかる。

行動認識技術とは、ユーザの体に装着したセンサから得られたセンサデータを解析し、そのユーザの行動を推定する技術である。体に装着したセンサを使用するため、センサの装着場所や装着方法が認識精度に大きな影響を与える。本年度はこの問題の解決に向けたデータセットの構築と、装着位置の行動認識性能への影響の評価を試みた。センサの装着位置・方法と認識精度の関係を正確に調べるため、物流センタにおける梱包作業を記録したマルチモーダルデータセット「OpenPack Dataset」を構築した。6個のウェアラブルセンサを含めて、16人の被験者から53時間を上回るデータを収集することができた。これは既存の作業行動認識データセットとして最大級である。構築したOpenPack Datasetには、3次元の骨格情報も含まれる。センサの装着位置と認識精度の関係を、ウェアラブルセンサから直接収集したデータと、3次元の骨格情報から計算した加速度データを用いて分析した。センサから収集したデータを用いた検証では、どのセンサも80％程度の精度で認識できるが、左上腕のセンサは常にスコアが低い傾向にあるなどの影響が確認できた。また、3次元骨格情報を用いた検証では、加速度データの生成から認識までのパイプラインの構築と装着位置による認識精度への影響も確認できたが、実際のセンサに比べて精度が低いなど改善点も明らかになった。データセットの構築だけではなく、データセットの活用を進めるため 国際会議 Percom 2023 WS BiRDにおいて、「OpenPack Challenge 2022」という行動認識コンペティションを実施した。本コンペでは、33チーム、106名の参加登録があり、延べ28,153回のダウンロードがあった。これらの数字からも、構築したデータセットが他の研究者からも注目度が高いものであることがわかる。