一人称視点教示映像のマルチモーダル解析による人物行動の学習と予測

通过第一人称教学视频的多模态分析来学习和预测人类行为

• 批准号: 22KF0119
• 负责人: 佐藤 洋一
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KF0119/
• 关键词: 人物行動センシング; 動作認識; ドメイン適応

一人称視点映像からの人物行動理解に関して、今年度は2つの研究テーマに取り組み成果を得た。まず、映像からの人物行動理解における基本タスクの一つである動作認識に関して、如何にしてモデル学習時と適用時における環境や人物などによる違い（ドメインギャップ）に影響を受けにくい動作認識モデルを実現するかという課題に取り組んだ。特に、RGB画像、動き、音という異なるモダリティ情報が持つ相補性に着目し、異なるモダリティ特徴のインタラクションによりドメインギャップの影響を軽減する手法としてCross-Modal Interactive Alignmentを新たに提案し、複数の動作認識ベンチマークデータセットを用いた教師無しドメイン適応の評価実験において、state-of-the-artの性能を達成することに成功した。この成果はトップ会議CVPR 2022に採択された。さらに、動作認識の高度化に向けて、少量データからの動作認識モデルの学習について研究を進めた。Compound Prototype Matchingと呼ばれる手法を新たに提案し、新たな動作カテゴリに対して大量の学習データを必要とすることなく、動作ラベル付きの少数の映像データのみから新たな動作を高い精度で認識することを可能とした。この手法は、フレーム単位とオブジェクト単位の特徴の関係からグローバルとローカルな特徴のプロトタイプを取得し、それらのマッチングに基づき少数の学習データのみから動作カテゴリを認識するというアプローチ（図5）に基づいており、その新規性と有効性が高く評価されトップ会議ECCV 2022に採択された。

The first-person perspective image テ ら に the に understanding of character action に is related to て, and this year 's に 2 research テ ら に に takes the み results of the group を to obtain た. ま ず, image か ら の character action understanding に お け る basic タ ス ク の a つ で あ る action understanding に masato し て, how に し て モ デ ル learning と applicable に お け る environment や characters な ど に よ る) い (ド メ イ ン ギ ャ ッ プ) に を by け に く い action understanding モ デ ル を be presently す る か と い に う subject group take り ん だ. に, RGB, portraits, verbal き, sound と い う different な る モ ダ リ テ ィ intelligence が hold つ phase fill に the mesh し, different な る モ ダ リ テ ィ, 徴 の イ ン タ ラ ク シ ョ ン に よ り ド メ イ ン ギ ャ ッ プ の influence を 軽 minus す る gimmick と し て Cross - Modal Interactive Proposed new Alignment を た に し, plural の action ベ ン チ マ ー ク デ ー タ セ ッ ト を with い た teachers し ド メ イ ン optimum 応 の review 価 be 験 に お い て, state - of - the - art の performance を reach す る こ と に success し た. The results of the に トップ conference CVPR 2022に adopted 択された. さ ら に, action know の に empirically to け て, a small amount of デ ー タ か ら の action understanding モ デ ル の learning に つ い を て research into め た. Compound Prototype Matching と shout ば れ る gimmick を new た に proposal し, new た な action カ テ ゴ リ に し seaborne て large の learning デ ー タ を necessary と す る こ と な く, action ラ ベ ル pay き の minority の image デ ー タ の み か ら new た な action を high precision い で know す る こ と を may と し た. こ の は, フ レ ー ム 単 a と オ ブ ジ ェ ク ト 単 a の, 徴 の masato is か ら グ ロ ー バ ル と ロ ー カ ル な, 徴 の プ ロ ト タ イ プ を obtain し, そ れ ら の マ ッ チ ン グ に base づ き minority の study デ ー タ の み か ら action カ テ ゴ リ を know す る と い う ア プ ロ ー チ (図 5) に づ い て お り, そ の new rules sex と have sharper が The high-level く review 価されトップ conference ECCV 2022に adopted 択された.

项目成果

Compound Prototype Matching for Few-shot Action Recognition

• DOI: 10.48550/arxiv.2207.05515
• 发表时间: 2022-07
• 作者: Lijin Yang;Yifei Huang;Y. Sato

Interact before Align: Leveraging Cross-Modal Knowledge for Domain Adaptive Action Recognition

• DOI: 10.1109/cvpr52688.2022.01431
• 发表时间: 2022-06
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Lijin Yang;Yifei Huang;Yusuke Sugano;Y. Sato