ロボットの実世界インタラクションによる動的な三次元計測・三次元モデル生成

通过真实世界的机器人交互进行动态 3D 测量和 3D 模型生成

• 批准号: 21K14130
• 负责人: 千葉 直也
• 金额: $ 3万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14130/
• 关键词: Implicit Function; 三次元データ処理; ハンドリング; 三次元計測

本研究は物体のハンドリングに必要なシーン理解と，シーン理解のために必要な観測・動作計画に取り組むものである．今年度はシーン理解のための物体単位・パーツ単位の分割を含むInplicit Functionを用いたモデル化を行った．研究計画ではSurface Modelによるモデル化を予定していたが，近年のNeRFを用いたVolumetric Modelの急速な発展を鑑み，NeRFをベースとしたモデル化を行うことを目指した．今年の範囲ではエンコーダーとの統合は行わず，まずはデコーダーのみでシーンを記述できることの確認を行った．昨年度の研究から，自己教師のみでImplicit Functionを用いた物体・パーツのセグメンテーションを行うことは困難であることがわかった．したがって空間的な整合性を考慮したロス関数と配置によってセグメンテーション対象が偏るようにする初期化，不確実性の明示的なモデル化を導入した．このうち空間的な整合性についてはうまく作用することがわかったが，物体・パーツの分離の実現は未だ達成できていない．適切なパーツ分離にはシーン中での動きを利用した連結成分の分離が必要であろうという予想から，今後はロボットによるインタラクションを想定してシーケンシャルな観測からセグメンテーションを行うことを目指す．また，NeRFに対して不確実性の明示的な導入を行うことで未知部分のばらつきをモデル化できる可能性があることがわかった．今後はエンコーダーと組み合わせ，少数視点の観測から，観測上の不確実性と想定形状のばらつきに由来する不確実性を分けて取り扱えるようにし，必要な場合に追加のインタラクションや観測を行うことを目指す．

This study focuses on the essential factors for understanding the object's movement, the essential factors for understanding the object's movement, and the essential factors for determining the movement plan. This year, the object unit, the unit, the partition, the implicit Function, the middle part of the object unit, and the partition are used. The research plan is to identify the rapid development of Volumetric Model in NeRF application in recent years. This year's Fan Wei's response to the incident was to confirm the incident. The research of the year shows that the teacher's heart is full of Implicit functions. The integration of space is considered to be the initial stage of the process. The integration of this space is not achieved. In the future, we will try our best to find out the best way to solve the problem. NeRF is not accurate and explicit. It is possible to introduce unknown parts into NeRF. In the future, if necessary, add a few points of view to the measurement.

项目成果

詳解 3次元点群処理 Pythonによる基礎アルゴリズムの実装

详解3D点云处理基本算法的Python实现

• 发表时间: 2022
• 作者: 金崎 朝子;秋月 秀一;千葉 直也
• 通讯作者: 千葉 直也