课题基金 / 基金详情

一人称視点教示映像のマルチモーダル解析による人物行動の学習と予測

一人称視点教示映像のマルチモーダル解析による人物行動の学習と予測
通过第一人称教学视频的多模态分析来学习和预测人类行为
批准号：
22KF0119
负责人：
佐藤 洋一
金额：
$1.41万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
项目状态：
未结题
起止时间：
2023-03-08 至 2025-03-31
来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KF0119/
关键词：
人物行動センシング動作認識ドメイン適応

项目摘要

项目成果

佐藤 洋一的其他基金

相似基金

相关文献

中文摘要
翻译
一人称視点映像からの人物行動理解に関して、今年度は2つの研究テーマに取り組み成果を得た。まず、映像からの人物行動理解における基本タスクの一つである動作認識に関して、如何にしてモデル学習時と適用時における環境や人物などによる違い（ドメインギャップ）に影響を受けにくい動作認識モデルを実現するかという課題に取り組んだ。特に、RGB画像、動き、音という異なるモダリティ情報が持つ相補性に着目し、異なるモダリティ特徴のインタラクションによりドメインギャップの影響を軽減する手法としてCross-Modal Interactive Alignmentを新たに提案し、複数の動作認識ベンチマークデータセットを用いた教師無しドメイン適応の評価実験において、state-of-the-artの性能を達成することに成功した。この成果はトップ会議CVPR 2022に採択された。さらに、動作認識の高度化に向けて、少量データからの動作認識モデルの学習について研究を進めた。Compound Prototype Matchingと呼ばれる手法を新たに提案し、新たな動作カテゴリに対して大量の学習データを必要とすることなく、動作ラベル付きの少数の映像データのみから新たな動作を高い精度で認識することを可能とした。この手法は、フレーム単位とオブジェクト単位の特徴の関係からグローバルとローカルな特徴のプロトタイプを取得し、それらのマッチングに基づき少数の学習データのみから動作カテゴリを認識するというアプローチ（図5）に基づいており、その新規性と有効性が高く評価されトップ会議ECCV 2022に採択された。
英文摘要
一人称視点映像からの人物行動理解に関して、今年度は2つの研究テーマに取り組み成果を得た。まず、映像からの人物行動理解における基本タスクの一つである動作認識に関して、如何にしてモデル学習時と適用時における環境や人物などによる違い（ドメインギャップ）に影響を受けにくい動作認識モデルを実現するかという課題に取り組んだ。特に、RGB画像、動き、音という異なるモダリティ情報が持つ相補性に着目し、異なるモダリティ特徴のインタラクションによりドメインギャップの影響を軽減する手法としてCross-Modal Interactive Alignmentを新たに提案し、複数の動作認識ベンチマークデータセットを用いた教師無しドメイン適応の評価実験において、state-of-the-artの性能を達成することに成功した。この成果はトップ会議CVPR 2022に採択された。さらに、動作認識の高度化に向けて、少量データからの動作認識モデルの学習について研究を進めた。Compound Prototype Matchingと呼ばれる手法を新たに提案し、新たな動作カテゴリに対して大量の学習データを必要とすることなく、動作ラベル付きの少数の映像データのみから新たな動作を高い精度で認識することを可能とした。この手法は、フレーム単位とオブジェクト単位の特徴の関係からグローバルとローカルな特徴のプロトタイプを取得し、それらのマッチングに基づき少数の学習データのみから動作カテゴリを認識するというアプローチ（図5）に基づいており、その新規性と有効性が高く評価されトップ会議ECCV 2022に採択された。
期刊论文(2)
专著(0)
科研奖励(0)
会议论文
Compound Prototype Matching for Few-shot Action Recognition
DOI： 10.48550/arxiv.2207.05515
发表时间： 2022-07
期刊：
影响因子： --
作者： [Lijin Yang;Yifei Huang;Y. Sato]
通讯作者： Lijin Yang;Yifei Huang;Y. Sato
Interact before Align: Leveraging Cross-Modal Knowledge for Domain Adaptive Action Recognition
DOI： 10.1109/cvpr52688.2022.01431
发表时间： 2022-06
期刊： 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子： --
作者： [Lijin Yang;Yifei Huang;Yusuke Sugano;Y. Sato]
通讯作者： Lijin Yang;Yifei Huang;Yusuke Sugano;Y. Sato
映像に基づく人物行動理解の意味的深化
  • 批准号：
    24K02956
  • 项目类别：
    Grant-in-Aid for Scientific Research (B)
  • 资助金额：
    $11.9万
  • 财政年份：
    2024
  • 负责人：
    佐藤 洋一
  • 依托单位：
    The University of Tokyo
自己視点・他者視点・固定視点映像の統合解析による人物行動センシング
  • 批准号：
    20H04205
  • 项目类别：
    Grant-in-Aid for Scientific Research (B)
  • 资助金额：
    $11.23万
  • 财政年份：
    2020
  • 负责人：
    佐藤 洋一
  • 依托单位：
    The University of Tokyo
パンチルト型プロジェクタに関する理論的解析と応用
  • 批准号：
    05F05040
  • 项目类别：
    Grant-in-Aid for JSPS Fellows
  • 资助金额：
    $0.77万
  • 财政年份：
    2005
  • 负责人：
    佐藤 洋一
  • 依托单位：
    The University of Tokyo
視線方向の実時間計測とその実世界指向インターフェースへの応用
  • 批准号：
    13780318
  • 项目类别：
    Grant-in-Aid for Young Scientists (B)
  • 资助金额：
    $1.79万
  • 财政年份：
    2001
  • 负责人：
    佐藤 洋一
  • 依托单位：
    The University of Tokyo
海外基金