Object State Change Detection and Human Behavior Prediction Focused on Hand Manipulation

点击翻译按钮获取中文摘要

2021年度は、一人称視点映像中において手と物体が触れているか否かを時系列で予測する手-物体接触判定（テーマA）の問題およびテーマBに必要な技術として映像中に出現する物体をインスタンス単位で識別する問題に取り組んだ。手-物体接触判定では、未知の手と物体の組における接触状態の推論を行うために (i) 手と物体の運動方向の相関による疑似ラベルの生成に基づく半教師あり学習 (ii) 誤りを含む疑似ラベルを少数の正しいラベルを含む訓練データを基に訓練中に逐次的にラベル訂正を行う方法 の2つの提案を行った。また、評価のために自然な調理動作を含むEPIC-KITCHENSデータセット上に新たにアノテーションを付与し、同データセット上で先行手法および教師データのみを用いて訓練した場合と比して高い性能を達成した。物体インスタンス識別はある物体に対して発生する手-物体インタラクションを長時間追跡するために異なる時刻に出現する同一のインスタンスを識別する上で重要なタスクである。本年度はユーザが物体とインタラクションを行う動的環境においてどの程度インスタンスの識別が行えるかの検証を行った。具体的には、EPIC-KITCHENSデータセット上に新たに1,500以上のインスタンスを含む大規模かつ挑戦的なベンチマークを構築し、表現学習に基づく高精度を達成するベースラインモデルおよび本ベンチマークに出現する特有の難しさの分析を行った。当初予定していた作用物体の検出（テーマA後半）、物体状態変化検出（テーマB）、人物行動予測（テーマC）については採用終了のため着手できなかった。