一人称視点教示映像のマルチモーダル解析による人物行動の学習と予測

通过第一人称教学视频的多模态分析来学习和预测人类行为

• 批准号: 22KF0119
• 负责人: 佐藤 洋一
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KF0119/
• 关键词: 人物行動センシング; 動作認識; ドメイン適応

一人称視点映像からの人物行動理解に関して、今年度は2つの研究テーマに取り組み成果を得た。まず、映像からの人物行動理解における基本タスクの一つである動作認識に関して、如何にしてモデル学習時と適用時における環境や人物などによる違い（ドメインギャップ）に影響を受けにくい動作認識モデルを実現するかという課題に取り組んだ。特に、RGB画像、動き、音という異なるモダリティ情報が持つ相補性に着目し、異なるモダリティ特徴のインタラクションによりドメインギャップの影響を軽減する手法としてCross-Modal Interactive Alignmentを新たに提案し、複数の動作認識ベンチマークデータセットを用いた教師無しドメイン適応の評価実験において、state-of-the-artの性能を達成することに成功した。この成果はトップ会議CVPR 2022に採択された。さらに、動作認識の高度化に向けて、少量データからの動作認識モデルの学習について研究を進めた。Compound Prototype Matchingと呼ばれる手法を新たに提案し、新たな動作カテゴリに対して大量の学習データを必要とすることなく、動作ラベル付きの少数の映像データのみから新たな動作を高い精度で認識することを可能とした。この手法は、フレーム単位とオブジェクト単位の特徴の関係からグローバルとローカルな特徴のプロトタイプを取得し、それらのマッチングに基づき少数の学習データのみから動作カテゴリを認識するというアプローチ（図5）に基づいており、その新規性と有効性が高く評価されトップ会議ECCV 2022に採択された。

今年，我们研究了两个研究主题，以获得有关第一人称视频对人行为的理解的结果。首先，我们解决了如何实现运动识别模型的挑战，该模型不容易受到学习和应用模型（包括环境和人员（域间隙））之间差异（域差距）的影响。特别是，我们专注于不同模态信息（例如RGB图像，运动和声音）的互补性，并提出了一种新的跨模式互动式对齐方式，作为一种方法，通过与不同的模态特征进行互动，并成功地实现了不使用多种运动的评估，以实现域名的效果。该结果在CVPR 2022的顶级会议上采用了。此外，为了改善运动识别的复杂性，已经从少量数据对学习运动识别模型进行了研究。已经提出了一种称为复合原型匹配的新技术，可以从具有运动标签的少数视频数据中以高度准确地识别新操作，而无需为新操作类别提供大量培训数据。该方法基于一种方法（图5），在该方法中，在该方法中，从逐帧和对象划分的特征之间的关系中获得了全局和局部特征的原型，并且仅根据匹配的匹配来识别少量培训数据中的行为类别。它的新颖性和有效性得到了高度评​​估，并在顶级会议ECCV 2022中采用。

项目成果

Compound Prototype Matching for Few-shot Action Recognition

• DOI: 10.48550/arxiv.2207.05515
• 发表时间: 2022-07
• 作者: Lijin Yang;Yifei Huang;Y. Sato

Interact before Align: Leveraging Cross-Modal Knowledge for Domain Adaptive Action Recognition

• DOI: 10.1109/cvpr52688.2022.01431
• 发表时间: 2022-06
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Lijin Yang;Yifei Huang;Yusuke Sugano;Y. Sato