ダイナミックプロジェクション計測による何でもみえるロボットビジョン

机器人视觉让您可以使用动态投影测量看到任何东西

• 批准号: 18J20111
• 负责人: 千葉 直也
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20111/
• 关键词: Light Transport Matrix; 点群深層学習; ばら積みピッキング; 輝度伝達行列; 三次元計測

本研究の目的は，対称物体の反射特性によらずに物体をハンドリングするための三次元センシング手法の構築である．前提としてLight Transport Matrix (LMT) 推定による三次元形状計測手法を用いる．これはプロジェクタ・カメラを用いる三次元計測法であり，金属物体や半透明物体を精度よく計測できるという特性を持つ．一方，高解像度な計測を行う場合には計算コストが大きいという欠点を持つ．したがって，物体の位置姿勢推定に必要な情報だけを計測することで，「ばら積みピッキング」のような具体的なアプリケーションとしてみたときに高速化できるという着想を得た．LTMの推定にはL1ノルム最小化によるスパース推定を用いる．このときLTMが線形でない場合に推定に失敗することが確認できている．実際の観測では白飛び・黒つぶれが生じるため，これらに対応するため，Alternation Direction Method of Multipliers (ADMM)を用いたL1最小化法の観測モデルに修正を加えた，白飛び・黒つぶれ同時対応L1最小化を提案・検証し，実際にLTM推定の性能が向上していることを示した．LTM推定は低解像度では高速に計算できることに着目し，低解像度なLTMから得られる低密度な点群から物体の位置姿勢推定を行う手法の実現に向けて取り組んだ．既存の物体認識・位置姿勢推定手法と比較して低密度な点群を入力として用いる場合が多いため，点群深層学習によるアプローチでの物体認識・位置姿勢推定手法についての研究を進めた．さらに物体認識・位置姿勢推定手法とLTM推定による三次元計測法，さらに昨年度実装したロボットシステムを用いて実際にばら積みピッキングを実現した．計測・位置姿勢推定を合わせて20秒程度で金属物体の認識・位置姿勢推定を行った．

这项研究的目的是构建一种三维传感方法来处理对象而不依赖对称对象的反射特性。作为先决条件，我们使用光传输矩阵（LMT）估计使用三维形状测量方法。这是使用投影仪或相机的三维测量方法，其特征是能够准确测量金属对象和半透明物体。另一方面，高分辨率测量值的计算成本不利。因此，我们的想法是，仅测量估计对象的位置和方向所需的信息，当将其视为“批量选择”之类的具体应用程序时，它可以加速。使用L1规范最小化的稀疏估计用于LTM估计。目前，已经确认，如果LTM不是线性的，则估计失败。在实际观察结果中，白色和白色的崩溃和黑色崩溃发生，因此，为了处理这些问题，我们提出并验证了L1最小化方法的L1最小化模型，使用乘数的交替方向方法（ADMM）来最小化L1，可以同时通过白色和白色崩溃和黑色崩溃，表明了LTM的表现，这可以同时支持。为了关注LTM估计可以在低分辨率下以高速计算的事实，我们努力实现一种方法来估算从低分辨率LTM获得的低密度点云的位置和方向。与现有的对象识别，位置和方向估计方法相比，我们经常使用低密度点云作为输入，因此我们使用点云深度学习方法对对象识别和位置估计方法进行了研究。此外，我们使用对象识别，位置和方向估计方法，使用LTM估计的三维测量方法以及去年实施的机器人系统实现了实际的批量选择。合并了测量，位置和方向估计，并在20秒内估算了金属物体的识别和方向。

项目成果

点群深層学習による複数物体の位置姿勢推定

使用点云深度学习估计多个物体的位置和方向

• 发表时间: 2019
• 作者: Joshua Owoyemi;Naoya Chiba;Koichi Hashimoto;千葉直也，橋本浩一;千葉直也，橋本浩一;福地 伸晃，千葉直也，橋本浩一;戸田幸宏，千葉直也，橋本浩一
• 通讯作者: 戸田幸宏，千葉直也，橋本浩一

Sparse Estimation under Saturated Condition for 3D Measurement and Its Application for Bin-Picking Robot

3D测量饱和条件下的稀疏估计及其在拣选机器人中的应用

• DOI: 10.2493/jjspe.86.106
• 发表时间: 2020
• 期刊: Journal of the Japan Society for Precision Engineering
• 作者: Suzuki Yoshiyuki;Yamaguchi Akihiko;Nojiri Seita;Watanabe Tetsuyou;Hashimoto Koichi;千葉直也，橋本浩一
• 通讯作者: 千葉直也，橋本浩一

点群深層学習の研究動向

点云深度学习研究趋势

• 发表时间: 2019
• 作者: Joshua Owoyemi;Naoya Chiba;Koichi Hashimoto;千葉直也
• 通讯作者: 千葉直也

Point cloud deep learning for multiple object pose estimation

用于多物体姿态估计的点云深度学习

• DOI: 10.1299/jsmermd.2019.2p2-h06
• 发表时间: 2019
• 期刊: The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)
• 作者: Ayedoun Emmanuel;Hayashi Yuki;Seta Kazuhisa;千葉直也，橋本浩一;Emmanuel Ayedoun;千葉直也，橋本浩一;Emmanuel Ayedoun;戸田幸宏，千葉直也，橋本浩一
• 通讯作者: 戸田幸宏，千葉直也，橋本浩一

Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning

• DOI: 10.1109/robio49542.2019.8961778
• 发表时间: 2019-12
• 期刊: 2019 IEEE International Conference on Robotics and Biomimetics (ROBIO)
• 作者: Joshua Owoyemi;Naoya Chiba;K. Hashimoto