Development of AI-based Multi-action Detection System for multiple patients using Day-Night Omnidirectional Cameras

使用日夜全向摄像机开发基于人工智能的多位患者多动作检测系统

• 批准号: 21K18109
• 负责人: 今渕 貴志
• 金额: $ 2.83万
• 依托单位: Japan Atomic Energy Agency
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K18109/
• 关键词: Omnidirectional camera; Human pose estimation; Behavior analysis; Deep learning; 全方位カメラ; モニタリング; 行動検知; 3次元関節推定

本研究では、医療現場において患者のアクシデントにつながる行動を自動的にモニタリングすることを目的として、赤外線全方位型カメラを採用して取得したパノラマ画像から複数人物の3次元関節情報を推定し、各関節の時系列の変動から特定の行動を推定するシステムの研究開発を行なっている。令和4年度は、前年度に引き続き、プロトタイプシステムの開発および行動推定手法の開発に取り組んだ。プロトタイプシステム全体の小型化のために、組込ボードおよび産業用カメラが一体となったGPU (Graphics Processing Unit) 搭載型エッジデバイスを用いて各手法の実装を試みた。ここで、単眼全方位カメラから複数人物の3次元関節位置推定を行う手法についての開発に取り組み、性能確認のために市販の3次元カメラセンサによる3次元関節位置計測結果との比較を行なった。行動推定手法においては、前年度に構築した学習済モデルによる推論モジュールを組込デバイス上に実装するとともに、オンラインで推論を行う仕組みについての開発を行なった。また、今後の行動推定手法の頑健性向上および高速化の観点から最新の深層学習モデルの調査を行なった。さらに、携帯端末との連携機能の実現に向けて、通信モジュール、結果可視化ソフトウェアについての開発に着手した。当該プロトタイプシステムを用いた性能評価実験では、複数人物を対象として複数行動データの計測を行い、学習を適用したネットワークに対する汎化性能について評価を行った。また、オンライン推論の動作検証を行なった。

This study で は, medical field に お い て patients の ア ク シ デ ン ト に つ な が る action を automatic に モ ニ タ リ ン グ す る こ と を purpose と し て type, red outside カ メ ラ を using し て obtain し た パ ノ ラ マ portrait か ら complex characters の section 3 yuan masato intelligence を presumption し, when each section masato の series の - move か ら presumption specific の action を す る シ ス Youdaoplaceholder0 テム research development を line なって る る. In the fourth year of the Reiwa era, に, the previous year, に, 続, 続, プシステム, プシステム, <s:1>, および, および, に, に, に, に, に, および, および, および, および, に, に, に, and んだ. プ ロ ト タ イ プ シ ス テ ム all の miniaturization の た め に, group 込 ボ ー ド お よ び industrial カ メ ラ が one と な っ た GPU (Graphics Processing Unit) carrying type エ ッ ジ デ バ イ ス を with い て each technique の be loaded を try み た. こ こ で, 単 eye カ メ ラ か ら complex characters の section 3 yuan masato presumption location line を う gimmick に つ い て の open 発 に み り group, performance qualification の た め に city vendor の 3 dimensional カ メ ラ セ ン サ に よ る section 3 yuan masato position measuring results と の is line を な っ た. Constructive action technique に お い て は, former annual に build し た learning 済 モ デ ル に よ る inference モ ジ ュ ー ル を group 込 デ バ イ ス on に be loaded す る と と も に, オ ン ラ イ ン で inference を line う blackstone group み に つ い て の open 発 を line な っ た. Youdaoplaceholder0, in the future, the presumption method of <s:1> actions will be determined to increase the robustness of および, speed up 観, ら, ら, deep learning モデ, <s:1>, investigation を, and なった. さ ら に, carrying 帯 end と の can even XieJi の be am に to け て, communication モ ジ ュ ー ル, results visualization ソ フ ト ウ ェ ア に つ い て の open 発 に to し た. When the プ ロ ト タ イ プ シ ス テ ム を with い た performance evaluation 価 be 験 で は, complex characters を like と seaborne し て plural action デ ー タ の measuring line を い, learning を applicable し た ネ ッ ト ワ ー ク に す seaborne る generalization performance に つ い て review 価 を line っ た. Youdaoplaceholder0, また ラ ラ ラ ラ ラ また infer the 検 action 検 evidence を action なった.

项目成果

全方位型アクシデントモニタリングシステムのための深層学習を用いた行動検知

利用深度学习进行行为检测的全方位事故监控系统

• 发表时间: 2022
• 作者: 今渕 貴志;プリマ・オキ ディッキ・アルディアンシャー
• 通讯作者: プリマ・オキ ディッキ・アルディアンシャー