マルチモーダル注意機構を用いる実ロボットの器用な物体操作タスクの自動化

使用多模态注意机制在真实机器人中实现灵巧物体操纵任务的自动化

• 批准号: 22KJ0890
• 负责人: KIM HEECHEOL
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0890/
• 关键词: 深層模倣学習; 双腕ロボット; 器用な物体操作

本研究では、ロボットによる器用な物体操作課題を可能にする高データ効率でかつ精密なマルチモーダル深層模倣学習の機構を探求した。従来のロボットによる物体操作は、専門家によるルールベースの設計が必要で、バナナの皮むきなど、そのルールがはっきりとわからないタスクでは適用できなかった。しかし、本研究で提案されたアプローチにより、より少数のデータから人間の物体操作スキルの獲得ができ、人間の専門家からの事前知識を要しない器用な物体操作スキルの獲得ができた。模倣学習において、ロボットの軌跡の器用さと安定性はトレードオフ関係にある性質である。なぜなら、器用な物体操作方策は、蓄積誤差に脆弱であり、結果として軌跡の安定性を損なうからである。本研究では、器用さと安定性の両方を達成するために、global action（物体をつかむために手を動かすなどの全域領域での行動）と、local action（手が物体を操作する局所的な行動）を、それぞれ軌跡全体を一度に予測して実行するフィードフォワード制御と、反応的なフィードバック制御で割り当てた。これにより、ロボットは物体周辺の局所領域でのみ反応的な行動を取り、蓄積誤差の影響を最小化した。さらに、力覚フィードバックを必要とするタスクのための深層模倣学習機構を調査し、複雑な制御システムや高価なバイラテラル（bilateral）システムを必要とせず、ロボットなしでマスターコントローラーだけを用いる教示方法を提案した。提案方法では、人間の視線情報を使用し、視線周辺の局所領域のビジョン情報のみを使用することにより、マスターコントローラ側とロボット側の違いを最小限に抑える学習方法を考案し、栓抜きという力を必要とするタスクを模倣学習で学習することに成功した。

This study aims to explore the mechanism of deep imitation learning in order to improve the efficiency of object manipulation. The design of the object is necessary for the operation of the object, and the design of the object is necessary for the operation of the object. This study proposes that a small number of human objects be manipulated to obtain prior knowledge of human objects. Imitation learning is the key to the stability of the trajectory. The method of handling the object is to accumulate errors, and the stability of the trajectory is to be damaged. In this study, the stability of the device is achieved by global action, local action, and trajectory prediction. To minimize the impact of cumulative errors, the motion of the object is determined by the location of the object. In addition, the author proposes a teaching method for investigating and controlling the deep imitation learning mechanism, which is necessary for the development of the deep imitation learning mechanism, and for the development of the deep imitation learning mechanism. The proposed method is to use the visual information of the human body, to use the visual information of the local area, to minimize the violation of the visual information of the local area, to test the visual information of the human body, to simulate the visual information of the local area, and to successfully study the visual information of the local area.

项目成果

Memory-based gaze prediction in deep imitation learning for robot manipulation

• DOI: 10.1109/icra46639.2022.9812087
• 发表时间: 2022-02
• 期刊: 2022 International Conference on Robotics and Automation (ICRA)
• 作者: Heecheol Kim;Y. Ohmura;Y. Kuniyoshi

Training Robots Without Robots: Deep Imitation Learning for Master-to-Robot Policy Transfer

• DOI: 10.1109/lra.2023.3262423
• 发表时间: 2022-02
• 期刊: IEEE Robotics and Automation Letters
• 影响因子: 5.2
• 作者: Heecheol Kim;Y. Ohmura;Akihiko Nagakubo;Y. Kuniyoshi

Using human gaze in few-shot imitation learning for robot manipulation

• DOI: 10.1109/iros47612.2022.9981706
• 发表时间: 2022-10
• 期刊: 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
• 作者: Shogo Hamano;Heecheol Kim;Y. Ohmura;Y. Kuniyoshi