Development of AI-based Multi-action Detection System for multiple patients using Day-Night Omnidirectional Cameras

本研究では、医療現場において患者のアクシデントにつながる行動を自動的にモニタリングすることを目的として、赤外線全方位型カメラを採用して取得したパノラマ画像から複数人物の3次元関節情報を推定し、各関節の時系列の変動から特定の行動を推定するシステムの研究開発を行なっている。令和4年度は、前年度に引き続き、プロトタイプシステムの開発および行動推定手法の開発に取り組んだ。プロトタイプシステム全体の小型化のために、組込ボードおよび産業用カメラが一体となったGPU (Graphics Processing Unit) 搭載型エッジデバイスを用いて各手法の実装を試みた。ここで、単眼全方位カメラから複数人物の3次元関節位置推定を行う手法についての開発に取り組み、性能確認のために市販の3次元カメラセンサによる3次元関節位置計測結果との比較を行なった。行動推定手法においては、前年度に構築した学習済モデルによる推論モジュールを組込デバイス上に実装するとともに、オンラインで推論を行う仕組みについての開発を行なった。また、今後の行動推定手法の頑健性向上および高速化の観点から最新の深層学習モデルの調査を行なった。さらに、携帯端末との連携機能の実現に向けて、通信モジュール、結果可視化ソフトウェアについての開発に着手した。当該プロトタイプシステムを用いた性能評価実験では、複数人物を対象として複数行動データの計測を行い、学習を適用したネットワークに対する汎化性能について評価を行った。また、オンライン推論の動作検証を行なった。

本研究では、医療現場において患者のアクシデントにつながる行動を自動的にモニタリングすることを目的として、赤外線全方位型カメラを採用して取得したパノラマ画像から複数人物の3次元関節情報を推定し、各関節の時系列の変動から特定の行動を推定するシステムの研究開発を行なっている。令和4年度は、前年度に引き続き、プロトタイプシステムの開発および行動推定手法の開発に取り組んだ。プロトタイプシステム全体の小型化のために、組込ボードおよび産業用カメラが一体となったGPU (Graphics Processing Unit) 搭載型エッジデバイスを用いて各手法の実装を試みた。ここで、単眼全方位カメラから複数人物の3次元関節位置推定を行う手法についての開発に取り組み、性能確認のために市販の3次元カメラセンサによる3次元関節位置計測結果との比較を行なった。行動推定手法においては、前年度に構築した学習済モデルによる推論モジュールを組込デバイス上に実装するとともに、オンラインで推論を行う仕組みについての開発を行なった。また、今後の行動推定手法の頑健性向上および高速化の観点から最新の深層学習モデルの調査を行なった。さらに、携帯端末との連携機能の実現に向けて、通信モジュール、結果可視化ソフトウェアについての開発に着手した。当該プロトタイプシステムを用いた性能評価実験では、複数人物を対象として複数行動データの計測を行い、学習を適用したネットワークに対する汎化性能について評価を行った。また、オンライン推論の動作検証を行なった。