Out-of-context Action Detection

断章取义的动作检测

• 批准号: 21H04908
• 负责人: 原 健翔
• 金额: $ 21.05万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-05 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04908/
• 关键词: コンピュータビジョン; 動画像解析; 行動認識; 深層学習; 動画認識; Transformer; シーングラフ

本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的としている．今年度は(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズム，それぞれについて研究を進めた．(a)については，動画中の物体間の関係性を記述するシーングラフの生成について研究した．物体検出と関係性の推定を，(b)の側面も考慮し過去の時系列を踏まえた上で同時処理可能な手法を新たに開発し，ViEW2022及びDIA2023で発表した．また，国際会議へも現在投稿中である．加えて，動画中の各フレームの物体を教師なしセグメンテーションする手法についても研究し，現在国際会議に論文を投稿中である．(b)については，Transformerを用いて動画中の時系列を表現する手法について研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，ViEW2022で発表した．また，論文誌へも現在投稿中である．加えて，シーン中の物体の状態の変化を高度に理解するために，画像中に含まれる物体が自然に風化していく様を合成する手法について研究し，Visual Computing 2022で発表した．(c)については，文脈にとらわれない人物行動を表現するために，人物姿勢を推定するための手法について研究を進め，MIRU2022で発表し，インタラクティブ発表賞を受賞した．(d)については，暫定的な行動の表現モデルと文脈の表現モデルを組み合わせて利用し，実動画中の異常行動を検出する技術についての研究を進めた．また，人物姿勢情報及び物体情報に基づいて異常行動を検知する手法について研究し，DIA2023で発表，DIA2023研究奨励賞を受賞した．

本研究以绘画为对象，将绘画文本的抽象化，将文本的抽象化作为一种常态认知技术，建立起一种抽象化的目的观。今年度的（a）空白的文本阅读理解化及（B）空白的文本阅读理解化，（c）文本阅读理解的理解和理解人的行为规范化，（d）文本阅读理解的理解和理解经常性的行为规范化。(a)绘画中的物体间的非对称性陈述，是由绘画中的物体间的非对称性产生的。物体出射不稳定性判定，（B）表面测试不确定性去极化系列在同一时间内可能出现的人工方法新极化曲线，ViEW2022和DIA2023极化表。加贺姆、绘中各绘(b)变压器整流器、Transformer用整流器中变压器系列表的整流方法和整流器整流器研究报告。去哪儿旅行团未来旅行团迁移Transformer变压器变压器需求申请未来旅行团迁移手册，ViEW2022电子表格表格。表格，正文中的表格在提交中提交。添加表单、可视化中的物体形状几何化高度理解表单、图像中的含有物体形状的自然几何化表单合成算法表单研究、Visual Computing 2022表单编辑。(c)人工流产标准、文检署人工流产标准、人工流产标准制定方法和标准研究标准、MIRU2022人工流产标准、人工流产标准制定方法和标准研究标准。(d)研究范式研究，确定的执行范式表和执行范式文本范式表和执行范式结合范式研究利用范式，阻碍绘画中经常进行的启发式推理技术研究范式研究。范式研究，人物心理情绪研究和人物物质情绪基础研究范式研究范式研究，DIA2023范式表，DIA 2023研究范式鼓励受启发者。

项目成果

シーングラフ生成におけるTransformerを用いたEnd-to-Endモデルの提案

使用 Transformer 生成场景图的端到端模型的提案

• 发表时间: 2021
• 作者: Sosuke Nishikawa;Ryokan Ri;Ikuya Yamada;Yoshimasa Tsuruoka and Isao Echizen;長崎 好輝，Qiu Yue，青木 義満，原 健翔，片岡 裕雄
• 通讯作者: 長崎 好輝，Qiu Yue，青木 義満，原 健翔，片岡 裕雄

動的シーングラフ生成におけるGraph Tensorを用いた時空間情報の抽出

动态场景图生成中使用Graph Tensor提取时空信息

• 发表时间: 2022
• 作者: Trung-Nghia Le;Ta Gu;Huy H. Nguyen;Isao Echizen;長崎 好輝，川野 恭史，山本 晋太郎，Qiu Yue，青木 義満，原 健翔，片岡 裕雄
• 通讯作者: 長崎 好輝，川野 恭史，山本 晋太郎，Qiu Yue，青木 義満，原 健翔，片岡 裕雄

監視カメラ映像における物体情報を付与した骨格ベースの異常行動検知

基于骨骼的异常行为检测，将物体信息添加到监控摄像头图像中

• 发表时间: 2023
• 作者: 青井大門，長谷川恭子;李亮 ，坂野雄一，坂本尚久，田中覚;森山 凌，金子 直史，鷲見 和彦
• 通讯作者: 森山 凌，金子 直史，鷲見 和彦

動的シーングラフ生成における物体と関係性の同時検出

动态场景图生成中同时检测对象和关系

• 发表时间: 2022
• 作者: Minh-Quan Le;Trung-Nghia Le;Tam V. Nguyen;Isao Echizen;Minh-Triet Tran;長崎 好輝，川野 恭史，山本 晋太郎，Qiu Yue，原 健翔，青木 義満，片岡 裕雄
• 通讯作者: 長崎 好輝，川野 恭史，山本 晋太郎，Qiu Yue，原 健翔，青木 義満，片岡 裕雄

動的シーングラフ生成における網羅的かつ文脈レベルでの時空間情報抽出

动态场景图生成中全面的上下文级时空信息提取

• 发表时间: 2023
• 作者: 長崎好輝，川野恭史，山本晋太郎，Yue Qiu，青木義満，原健翔，片岡雄裕