Out-of-context Action Detection

点击翻译按钮获取中文摘要

本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的としている．今年度は(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズム，それぞれについて研究を進めた．(a)については，動画中の物体間の関係性を記述するシーングラフの生成について研究した．物体検出と関係性の推定を，(b)の側面も考慮し過去の時系列を踏まえた上で同時処理可能な手法を新たに開発し，ViEW2022及びDIA2023で発表した．また，国際会議へも現在投稿中である．加えて，動画中の各フレームの物体を教師なしセグメンテーションする手法についても研究し，現在国際会議に論文を投稿中である．(b)については，Transformerを用いて動画中の時系列を表現する手法について研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，ViEW2022で発表した．また，論文誌へも現在投稿中である．加えて，シーン中の物体の状態の変化を高度に理解するために，画像中に含まれる物体が自然に風化していく様を合成する手法について研究し，Visual Computing 2022で発表した．(c)については，文脈にとらわれない人物行動を表現するために，人物姿勢を推定するための手法について研究を進め，MIRU2022で発表し，インタラクティブ発表賞を受賞した．(d)については，暫定的な行動の表現モデルと文脈の表現モデルを組み合わせて利用し，実動画中の異常行動を検出する技術についての研究を進めた．また，人物姿勢情報及び物体情報に基づいて異常行動を検知する手法について研究し，DIA2023で発表，DIA2023研究奨励賞を受賞した．