ダイナミックプロジェクション計測による何でもみえるロボットビジョン

机器人视觉让您可以使用动态投影测量看到任何东西

• 批准号: 18J20111
• 负责人: 千葉 直也
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20111/
• 关键词: Light Transport Matrix; 点群深層学習; ばら積みピッキング; 輝度伝達行列; 三次元計測

本研究の目的は，対称物体の反射特性によらずに物体をハンドリングするための三次元センシング手法の構築である．前提としてLight Transport Matrix (LMT) 推定による三次元形状計測手法を用いる．これはプロジェクタ・カメラを用いる三次元計測法であり，金属物体や半透明物体を精度よく計測できるという特性を持つ．一方，高解像度な計測を行う場合には計算コストが大きいという欠点を持つ．したがって，物体の位置姿勢推定に必要な情報だけを計測することで，「ばら積みピッキング」のような具体的なアプリケーションとしてみたときに高速化できるという着想を得た．LTMの推定にはL1ノルム最小化によるスパース推定を用いる．このときLTMが線形でない場合に推定に失敗することが確認できている．実際の観測では白飛び・黒つぶれが生じるため，これらに対応するため，Alternation Direction Method of Multipliers (ADMM)を用いたL1最小化法の観測モデルに修正を加えた，白飛び・黒つぶれ同時対応L1最小化を提案・検証し，実際にLTM推定の性能が向上していることを示した．LTM推定は低解像度では高速に計算できることに着目し，低解像度なLTMから得られる低密度な点群から物体の位置姿勢推定を行う手法の実現に向けて取り組んだ．既存の物体認識・位置姿勢推定手法と比較して低密度な点群を入力として用いる場合が多いため，点群深層学習によるアプローチでの物体認識・位置姿勢推定手法についての研究を進めた．さらに物体認識・位置姿勢推定手法とLTM推定による三次元計測法，さらに昨年度実装したロボットシステムを用いて実際にばら積みピッキングを実現した．計測・位置姿勢推定を合わせて20秒程度で金属物体の認識・位置姿勢推定を行った．

The purpose of this study is to construct a three-dimensional method for the reflection characteristics of symmetric objects. Premise and application of Light Transport Matrix (LMT) estimation for three-dimensional shape measurement. For metallic objects or translucent objects, the accuracy of measurement is determined by using three-dimensional measurement method. On the one hand, high resolution measurement is required for the case of calculation. The information necessary for the estimation of the position and orientation of the object is measured. This is the first time that a line has been identified. In practice, the L1 minimization Method is used to correct the L1 minimization problem. In practice, the LTM estimation performance is improved. In practice, the LTM estimation performance is improved. In practice, the LTM estimation is low resolution. In practice, the LTM estimation performance is improved. Low resolution LTM is obtained from low density point clusters and the position and orientation of objects are estimated. Comparison of existing object recognition and position and orientation estimation techniques with low-density point clusters, multi-use cases, deep learning of point clusters, object recognition and position and orientation estimation techniques. The three-dimensional measurement method of object recognition, position and posture estimation and LTM estimation is realized in the present year. Measurement, position and posture estimation, recognition of metal objects, position and posture estimation, and operation in 20 seconds.

项目成果

点群深層学習による複数物体の位置姿勢推定

使用点云深度学习估计多个物体的位置和方向

• 发表时间: 2019
• 作者: Joshua Owoyemi;Naoya Chiba;Koichi Hashimoto;千葉直也，橋本浩一;千葉直也，橋本浩一;福地 伸晃，千葉直也，橋本浩一;戸田幸宏，千葉直也，橋本浩一
• 通讯作者: 戸田幸宏，千葉直也，橋本浩一

点群深層学習の研究動向

点云深度学习研究趋势

• 发表时间: 2019
• 作者: Joshua Owoyemi;Naoya Chiba;Koichi Hashimoto;千葉直也
• 通讯作者: 千葉直也

Sparse Estimation under Saturated Condition for 3D Measurement and Its Application for Bin-Picking Robot

3D测量饱和条件下的稀疏估计及其在拣选机器人中的应用

• DOI: 10.2493/jjspe.86.106
• 发表时间: 2020
• 期刊: Journal of the Japan Society for Precision Engineering
• 作者: Suzuki Yoshiyuki;Yamaguchi Akihiko;Nojiri Seita;Watanabe Tetsuyou;Hashimoto Koichi;千葉直也，橋本浩一
• 通讯作者: 千葉直也，橋本浩一

Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning

• DOI: 10.1109/robio49542.2019.8961778
• 发表时间: 2019-12
• 期刊: 2019 IEEE International Conference on Robotics and Biomimetics (ROBIO)
• 作者: Joshua Owoyemi;Naoya Chiba;K. Hashimoto

Point cloud deep learning for multiple object pose estimation

用于多物体姿态估计的点云深度学习

• DOI: 10.1299/jsmermd.2019.2p2-h06
• 发表时间: 2019
• 期刊: The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)
• 作者: Ayedoun Emmanuel;Hayashi Yuki;Seta Kazuhisa;千葉直也，橋本浩一;Emmanuel Ayedoun;千葉直也，橋本浩一;Emmanuel Ayedoun;戸田幸宏，千葉直也，橋本浩一
• 通讯作者: 戸田幸宏，千葉直也，橋本浩一