行動理解とデータマイニング技術を適用した人物意図推定・行動予測

应用行为理解和数据挖掘技术的人类意图估计和行为预测

• 批准号: 13J03633
• 负责人: 片岡 裕雄
• 金额: $ 0.86万
• 依托单位: The University of Tokyo (2014)Keio University (2013)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2013
• 资助国家: 日本
• 起止时间: 2013-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13J03633/
• 关键词: 行動予測; 行動理解; データ解析; 行動認識; データマイニング; ナイーブベイズ識別器; 事後解析; 事前予測

本提案では、人物行動の高精度な認識のみならず人物行動の事前予測を実現した。行動認識については特徴量のグルーピングや人物行動を理解するための特徴を多数実装し、有効な特徴の見極めを行った。固定カメラによる定点観測下で十分な行動履歴データベースが用意できているという条件のもとで約80%の予測精度を実現した。行動理解と行動予測について以下にそれぞれ説明する。【行動理解】人物の身体から多数の特徴点検出を行い、特徴点周辺において形状・動作などの特徴量取得を施行し、人物行動を識別した。さらに、時系列や空間的に意味のあるまとまり(トピック)に収集するトピックモデリングを実装してより意味のある、高次な特徴量へと昇華した。形状・動作など行動における最小単位の特徴量を統合することにより「姿勢」や「ジェスチャ」などに近似することが判明しており、トピックの適応的な組み合わせにより従来では分離が困難であった細かい動作の違いを見極めるに至っている。特徴点検出ミスによるノイズや行動認識において重要度が低い特徴などを除くことも可能である。また、特徴量を追加して人物認識に適した特徴量の評価も行った。形状や動作を見る特徴量だけでなく、画素間の共起性により記述する特徴が最も有効であることが判明した。また、形状・動作・共起性の組み合わせにより特徴量を構成する連結特徴量が最も高い精度を示した。【行動予測】「前の行動」「現在の行動」「時間帯」の3つの要素を入力としてベイズモデルにより確率的に予測するフレームワークを採用した。さらに、予測時間の統計量を求めた結果、平均で約5秒、最大で約20秒もの行動予測を実現した。現在では行動予測の入力として「画像特徴量(low-level)」「トピック特徴(middle-level)」「時系列タグ(high-level)」という階層的な入力が可能となり、より高次な予測が可能となる。

This proposal enables high-precision recognition and prediction of character actions. Action recognition is characterized by a large number of features, including the ability to understand a person's actions. The accuracy of prediction is about 80% under the condition of fixed point measurement. Action understanding and action prediction [Action Understanding] Character Body: Most of the feature points are detected in the middle, the feature points are surrounded in the middle, the shape and action of the feature quantity are obtained, and the character action is recognized. The meaning of time series and space is different from the meaning of time series and space series. Shape·Motion·Action·Minimum unit feature quantity integration·Posture·Approximation·Identification·Appropriate combination·Separation·Difficulty·Fine motion·Violation·Extreme observation·To middle. Feature points are identified as low in importance and low in possibility. Add character recognition, character evaluation and character evaluation. The characteristics of shape and motion are described in detail. The highest accuracy of the link feature is shown by the combination of features, shape, motion, and commonality. [Action Prediction]"Previous Action""Present Action""Time Zone" 3 elements of force into the forecast of accuracy rate The statistics of the time of prediction are calculated, averaging about 5 seconds, and the maximum is about 20 seconds. Now, it is possible to predict the penetration force of the action at a low level, at a middle level, at a high level, at a high level.

项目成果

Extended Co-occurrence HOG with Dense Trajectories for Fine-Grained Activity Recognition

• DOI: 10.1007/978-3-319-16814-2_22
• 发表时间: 2014-11
• 期刊: 2014 22nd International Conference on Pattern Recognition
• 作者: Hirokatsu Kataoka;K. Hashimoto;K. Iwata;Y. Satoh;Nassir Navab;Slobodan Ilic;Y. Aoki

Extended Feature Descriptor and Vehicle Motion Model with Tracking-by-Detection for Pedestrian Active Safety

• DOI: 10.1587/transinf.e97.d.296
• 发表时间: 2014-02
• 期刊: IEICE Trans. Inf. Syst.
• 作者: Hirokatsu Kataoka;K. Tamura;K. Iwata;Y. Satoh;Y. Matsui;Y. Aoki

Quantized Feature with Angular Displacement for Activity Recognition

用于活动识别的具有角位移的量化特征

• DOI: 10.1541/ieejeiss.135.372
• 发表时间: 2015
• 期刊: IEEJ Transactions on Electronics, Information and Systems
• 作者: Shinya;S.;Urasaki;A.;Ohnuma;T.;Taira;T.;Suzuki;A.;Ogata;M.;Usui;T.;Lampela;O.;Juffer;AH.;Fukamizo;T.;山辺智晃，片岡裕雄，中村明生
• 通讯作者: 山辺智晃，片岡裕雄，中村明生

Robust Feature Descriptor and Vehicle Motion Model with Tracking-by-detection for Active Safety

具有主动安全检测跟踪功能的鲁棒特征描述符和车辆运动模型

• 发表时间: 2013
• 作者: 片岡裕雄;田村仁優;岩田健司;佐藤雄隆;松井靖浩;青木義満
• 通讯作者: 青木義満

Feature Integration with Random Forests for Real-time Human Activity Recognition

与随机森林的特征集成用于实时人类活动识别

• 发表时间: 2014
• 作者: Hirokatsu Kataoka;Kiyoshi Hashimoto;Yoshimitsu Aoki
• 通讯作者: Yoshimitsu Aoki