一人称視点教示映像のマルチモーダル解析による人物行動の学習と予測

通过第一人称教学视频的多模态分析来学习和预测人类行为

• 批准号: 22KF0119
• 负责人: 佐藤 洋一
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KF0119/
• 关键词: 人物行動センシング; 動作認識; ドメイン適応

一人称視点映像からの人物行動理解に関して、今年度は2つの研究テーマに取り組み成果を得た。まず、映像からの人物行動理解における基本タスクの一つである動作認識に関して、如何にしてモデル学習時と適用時における環境や人物などによる違い（ドメインギャップ）に影響を受けにくい動作認識モデルを実現するかという課題に取り組んだ。特に、RGB画像、動き、音という異なるモダリティ情報が持つ相補性に着目し、異なるモダリティ特徴のインタラクションによりドメインギャップの影響を軽減する手法としてCross-Modal Interactive Alignmentを新たに提案し、複数の動作認識ベンチマークデータセットを用いた教師無しドメイン適応の評価実験において、state-of-the-artの性能を達成することに成功した。この成果はトップ会議CVPR 2022に採択された。さらに、動作認識の高度化に向けて、少量データからの動作認識モデルの学習について研究を進めた。Compound Prototype Matchingと呼ばれる手法を新たに提案し、新たな動作カテゴリに対して大量の学習データを必要とすることなく、動作ラベル付きの少数の映像データのみから新たな動作を高い精度で認識することを可能とした。この手法は、フレーム単位とオブジェクト単位の特徴の関係からグローバルとローカルな特徴のプロトタイプを取得し、それらのマッチングに基づき少数の学習データのみから動作カテゴリを認識するというアプローチ（図5）に基づいており、その新規性と有効性が高く評価されトップ会議ECCV 2022に採択された。

One-person point of view imaging, character action understanding, and this year's 2nd year research, the results of the team's research.まず, image からのcharacter action understanding におけるbasic タスクの一つである action recognition に关して, how to にしてモデルWhen to learn and when to apply におけThe environment and the characters are affected by the environment.けにくい action recognition モデルを実appears するかというproject にtake りgroup んだ. Special に, RGB image, moving き, sound というdifferent なるモダリティinformation がhold つ complementary nature に出目し, different なるモダリティCross-Modal Interactive Alignmentを新たにproposalし、Pluralのmovement recognitionベンチマークデータセットを用いた teacher无しドメイン応のreview価実験において、state-of-the-artのperformanceをachieveすることに成した. The results of the はトップ conference CVPR 2022 are collected.さらに、Advanced action knowledge に向けて、A small amount of データからのaction knowledge モデルの学について research を Advance めた. Compound Prototype Matching technique is a new proposal, a new action is necessary, and a lot of learning is necessaryることなく、actionラベルpayきの小のimageデータのみから新たなactionを高いprecisionでKnowledgeすることをpossibleとした.このtechniqueは、フレーム単地とオブジェクト単点の特徴の Relationship からグローバルとローカルな特徴のプロトタイプをgettingし、それらのマッチングにbasedづきA few of the learning activities of the カテゴリを know するというアプローチ (図5 ) に本づいており、 その新regulationと Effectiveness が高くreview価されトップ Conference ECCV 2022に彩択された.

项目成果

Compound Prototype Matching for Few-shot Action Recognition

• DOI: 10.48550/arxiv.2207.05515
• 发表时间: 2022-07
• 作者: Lijin Yang;Yifei Huang;Y. Sato

Interact before Align: Leveraging Cross-Modal Knowledge for Domain Adaptive Action Recognition

• DOI: 10.1109/cvpr52688.2022.01431
• 发表时间: 2022-06
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Lijin Yang;Yifei Huang;Yusuke Sugano;Y. Sato