Embodied Interface for Enhanced Teleoperation of Intelligent Robots

用于增强智能机器人远程操作的具体接口

• 批准号: 22K14222
• 负责人: 朱 曜南
• 金额: $ 3万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K14222/
• 关键词: 遠隔操作; 協調制御; 触覚フィードバック; 知能ロボット; 触覚インターフェイス

本研究では、直感的な遠隔操作を可能にする身体性を伴う操作インターフェイスの開発に取り組み、ロボットが協調制御に基づいて、作業者の遠隔操作を支援し、その負担を軽減し作業効率を向上させることを目的としている。本年度では、身体性を伴うインターフェイスの開発に取り組み、ビジョンベースの触覚センサを用いて把持力の推定を行った。推定された把持力を力逆送型バイラテラル制御器と連携することにより、遠隔操作者にグリッパ先端の力情報を提示することに成功した。把持力の推定は、触覚センサ表面のゲルの変形量に基づいており、表面変形量の測定のために深度マップを作成した。深度マップはセンサから取得されたRGB画像をMulti-Layer Perceptronを用いることによって作成した。推定された表面変形量（深度）と力の真値データを取得し、回帰アルゴリズムを用いて深度と力の関係を得ることにより、リアルタイムで把持力を推定することが可能となった。商用のハプティクスデバイスをリーダとし、先端に触覚センサを取り付けたパラレルグリッパをフォロワとしてバイラテラル制御系を構築し実験を行った。その結果、ビジョンベース触覚センサを用いて力フィードバックを行うことが可能であることが確認され、力フィードバックによる直感性の向上により操作性が改善した。また、遠隔操作において、物体の把持を支援する協調制御システムの構築を行った。提案システムでは、RGBDカメラから取得した物体の点群データを補完することにより、各方向からの把持位置の検出を可能にした。そして、多方向の把持姿勢から、ロボットアームの可操作性が一番高い姿勢を選出し、遠隔把持の支援に用いた。実験の結果、ロボットアームのスムーズな動作を実現し、かつ操作性の改善による操作者の負担軽減と作業時間の短縮が確認でき、提案システムの有用性を示した。

This study aims to improve the efficiency of remote operation by improving the efficiency of remote operation and reducing the burden of remote operation. This year, the estimation of the control power of the development of the physical environment and the touch environment was carried out. Presuming the force of the control device and the remote operator is successful. The estimation of the holding force is based on the measurement of the surface shape and the depth of the surface shape. Multi-Layer Perceptron is used to create RGB images. The relationship between the estimated surface shape (depth) and the force is obtained. The business model is designed to control the development of a business model. The result of the test is that the test results can be used to determine whether the test results are accurate or not. To coordinate the construction of control systems for remote operation and object control The proposed system makes it possible to detect the holding position in all directions by completing the point group data of the object obtained from the RGBD camera. Multi-directional control posture selection, remote control support, operability, etc. The results of the implementation, the implementation of the system operation, the improvement of operability, the reduction of the burden on the operator, the reduction of the operation time, the confirmation of the usefulness of the proposal are shown.

项目成果

Visual Tactile Sensor Based Force Estimation for Position-Force Teleoperation

• DOI: 10.1109/cbs55922.2023.10115342
• 发表时间: 2022-12
• 期刊: 2022 IEEE International Conference on Cyborg and Bionic Systems (CBS)
• 作者: Yaonan Zhu;Shukrullo Nazirjonov;Bin Jiang;Jacinto E. Colan Zaita;T. Aoyama;Y. Hasegawa;B. Belousov