ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成

本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はシーン理解のための物体単位・パーツ単位の分割を含むInplicit Functionを用いたモデル化を行った．研究計画ではSurface Modelによるモデル化を予定していたが，近年のNeRFを用いたVolumetric Modelの急速な発展を鑑み，NeRFをベースとしたモデル化を行うことを目指した．今年の範囲ではエンコーダーとの統合は行わず，まずはデコーダーのみでシーンを記述できることの確認を行った．昨年度の研究から，自己教師のみでImplicit Functionを用いた物体・パーツのセグメンテーションを行うことは困難であることがわかった．したがって空間的な整合性を考慮したロス関数と配置によってセグメンテーション対象が偏るようにする初期化，不確実性の明示的なモデル化を導入した．このうち空間的な整合性についてはうまく作用することがわかったが，物体・パーツの分離の実現は未だ達成できていない．適切なパーツ分離にはシーン中での動きを利用した連結成分の分離が必要であろうという予想から，今後はロボットによるインタラクションを想定してシーケンシャルな観測からセグメンテーションを行うことを目指す．また，NeRFに対して不確実性の明示的な導入を行うことで未知部分のばらつきをモデル化できる可能性があることがわかった．今後はエンコーダーと組み合わせ，少数視点の観測から，観測上の不確実性と想定形状のばらつきに由来する不確実性を分けて取り扱えるようにし，必要な場合に追加のインタラクションや観測を行うことを目指す．

本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はシーン理解のための物体単位・パーツ単位の分割を含むInplicit Functionを用いたモデル化を行った．研究計画ではSurface Modelによるモデル化を予定していたが，近年のNeRFを用いたVolumetric Modelの急速な発展を鑑み，NeRFをベースとしたモデル化を行うことを目指した．今年の範囲ではエンコーダーとの統合は行わず，まずはデコーダーのみでシーンを記述できることの確認を行った．昨年度の研究から，自己教師のみでImplicit Functionを用いた物体・パーツのセグメンテーションを行うことは困難であることがわかった．したがって空間的な整合性を考慮したロス関数と配置によってセグメンテーション対象が偏るようにする初期化，不確実性の明示的なモデル化を導入した．このうち空間的な整合性についてはうまく作用することがわかったが，物体・パーツの分離の実現は未だ達成できていない．適切なパーツ分離にはシーン中での動きを利用した連結成分の分離が必要であろうという予想から，今後はロボットによるインタラクションを想定してシーケンシャルな観測からセグメンテーションを行うことを目指す．また，NeRFに対して不確実性の明示的な導入を行うことで未知部分のばらつきをモデル化できる可能性があることがわかった．今後はエンコーダーと組み合わせ，少数視点の観測から，観測上の不確実性と想定形状のばらつきに由来する不確実性を分けて取り扱えるようにし，必要な場合に追加のインタラクションや観測を行うことを目指す．