Object State Change Detection and Human Behavior Prediction Focused on Hand Manipulation

专注于手部操作的物体状态变化检测和人类行为预测

基本信息

批准号：
21J11626
负责人：
八木拓真
金额：
$ 0.96万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

2021年度は、一人称視点映像中において手と物体が触れているか否かを時系列で予測する手-物体接触判定（テーマA）の問題およびテーマBに必要な技術として映像中に出現する物体をインスタンス単位で識別する問題に取り組んだ。手-物体接触判定では、未知の手と物体の組における接触状態の推論を行うために (i) 手と物体の運動方向の相関による疑似ラベルの生成に基づく半教師あり学習 (ii) 誤りを含む疑似ラベルを少数の正しいラベルを含む訓練データを基に訓練中に逐次的にラベル訂正を行う方法の2つの提案を行った。また、評価のために自然な調理動作を含むEPIC-KITCHENSデータセット上に新たにアノテーションを付与し、同データセット上で先行手法および教師データのみを用いて訓練した場合と比して高い性能を達成した。物体インスタンス識別はある物体に対して発生する手-物体インタラクションを長時間追跡するために異なる時刻に出現する同一のインスタンスを識別する上で重要なタスクである。本年度はユーザが物体とインタラクションを行う動的環境においてどの程度インスタンスの識別が行えるかの検証を行った。具体的には、EPIC-KITCHENSデータセット上に新たに1,500以上のインスタンスを含む大規模かつ挑戦的なベンチマークを構築し、表現学習に基づく高精度を達成するベースラインモデルおよび本ベンチマークに出現する特有の難しさの分析を行った。当初予定していた作用物体の検出（テーマA後半）、物体状態変化検出（テーマB）、人物行動予測（テーマC）については採用終了のため着手できなかった。

在2021年，我们解决了手动对象的联系确定（主题A）的问题，该问题从按时间顺序预测，在第一人称视频中是否触摸了手和对象，以及识别视频中出现在实例上的对象的问题，是基于主题B.在Hand-of-possient contractiation中所必需的。基于手和物体运动方向之间的相关性，以及（ii）基于包含一些正确标签的训练数据，在训练过程中依次纠正标签的方法。此外，对Epic-Kitchens数据集进行了新的注释，其中包括自然烹饪操作，比仅使用先前的方法和教师数据在数据集中接受培训时获得更高的性能。对象实例标识是确定在不同时间出现相同实例以跟踪对象长期发生的手动相互作用的重要任务。今年，我们验证了在用户与对象交互的动态环境中可以识别实例的程度。具体而言，我们在Epic-Kitchens数据集上建立了一个大规模的，具有挑战性的基准，并分析了基线模型，并分析了基线模型，该模型基于表示的学习以及在此基准中出现的独特挑战，从而实现了很高的精度。由于终止采用终止，无法进行初步计划的活动对象（主题A的后半部分），对象状态（主题B）的变化（主题B）和人行为（主题C）的预测。

项目成果

期刊论文数量（5）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

GO-Finder: A Registration-Free Wearable System for Assisting Users in Finding Lost Objects via Hand-Held Object Discovery

DOI：
10.1145/3397481.3450664
发表时间：
2021-01
期刊：
Proceedings of the 26th International Conference on Intelligent User Interfaces
影响因子：
0
作者：
Takuma Yagi;Takumi Nishiyasu;Kunimasa Kawasaki;Moe Matsuki;Yoichi Sato
通讯作者：
Takuma Yagi;Takumi Nishiyasu;Kunimasa Kawasaki;Moe Matsuki;Yoichi Sato

誘導付き逐次ラベル訂正に基づく映像からの手-物体接触判定

基于引导顺序标签校正的视频手部物体接触检测