動画像理解のための時空間情報設計の方法論構築

视频图像理解时空信息设计方法论的建立

• 批准号: 22K12090
• 负责人: 玉木 徹
• 金额: $ 2.66万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12090/
• 关键词: コンピュータビジョン; 映像解析; 動画像認識; ディープラーニング; 動画像理解; 時空間特徴

本研究の目的は，動画像理解における時空間特徴量の取得方法について，新しい方法論を構築することである．通常の動画像認識では，空間的な情報と時間的な情報を組み合わせて時空間情報として扱うことが一般的である．しかし本研究では，空間情報と時間情報を高いレベルで分離するという新しい手法に取り組む．従来のアプローチでは，単に別々に特徴量を抽出することが一般的だが，本研究では，時間と空間の情報を関連付けつつも分離するために，所望の性質を満たす特徴量を設計するというアプローチを取る．この手法は，様々な動画認識タスクに応用することが可能である．この新しい枠組みによって得られる特徴量は，例えば動画像の中での物体検出や行動認識などのタスクにおいて有用な情報となり得る．また，時空間情報の分離により，動画像の解析や処理の効率性も向上することが期待される．さらに，この手法は将来的にはロボットや自動運転などの領域において，高度な環境理解や行動予測に役立つ可能性がある．

The purpose of this study is to understand animation images and to construct a new methodology for obtaining temporal and spatial features. Generally, animation images recognize the spatial information and temporal information. In this study, spatial information and temporal information are separated from each other by new methods. In this paper, we study the relationship between temporal and spatial information, and design the desired characteristic quantity. This technique is very useful for understanding and understanding. This new group of characters is derived from the characteristic quantity, such as animation image, object detection, action recognition, useful information, etc. The separation of temporal and spatial information, analysis and processing of animated images, and the improvement of their performance are expected. In addition, this method is the future of the automatic movement of the field, a high degree of environmental understanding and action prediction, the possibility of service.

项目成果

時空間アダプタを用いた動作認識のためのマルチドメイン学習

使用时空适配器进行动作识别的多域学习

• 发表时间: 2022
• 作者: 大見一樹;玉木徹
• 通讯作者: 玉木徹

ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition

• DOI: 10.1145/3551626.3564941
• 发表时间: 2022-04
• 期刊: Proceedings of the 4th ACM International Conference on Multimedia in Asia
• 作者: Jun Kimata;Tomoya Nitta;Toru Tamaki

ObjectMix：動画像中の物体のコピー・ペーストによる動作認識のためのデータ拡張

ObjectMix：通过在视频图像中复制和粘贴对象来增强运动识别的数据增强

• 发表时间: 2022
• 作者: 木全潤;仁田智也;玉木 徹
• 通讯作者: 玉木 徹

インスタンスセグメンテーションを用いたシャープなアテンションマップ生成による動作認識

通过使用实例分割生成清晰的注意力图来进行动作识别

• 发表时间: 2022
• 作者: 仁田智也;平川翼;藤吉弘亘;玉木徹
• 通讯作者: 玉木徹