状況認知と問題解決の双方向創発による深層模倣学習の省データ化と高汎化性達成

通过情境识别和问题解决的双向涌现，实现深度模仿学习的数据保存和高泛化性

• 批准号: 22H00528
• 负责人: 國吉 康夫
• 金额: $ 26.87万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00528/
• 关键词: 深層模倣学習; 注視制御; 物体操作スキル

人の器用で臨機応変な物体操作能力をロボットで実現することを目的として、モデル化困難な対象物体の操作を深層模倣学習によって実現する方法論を明らかにすることが本プロジェクトの目的である。本年度は、遠隔操縦システム、遠隔ロボット、ロボットの視覚情報を提示するためのHMDシステム、人の遠隔操縦時の視線情報の計測を可能とする深層模倣学習プラットフォームを用いて、バナナの皮むきを実現した。バナナは、個体差が大きく、いままで模倣学習で実現されてきたどのタスクよりも、汎化が困難であるタスクとして設定した。注視制御を用いてタスクに重要な特徴を抽出し、素早いフィードバック制御を行うローカル動作と、大雑把にゴール状態に向けた軌道を生成するグローバル動作を組み合わせることで、模倣学習を実現した。現状のプラットフォームは、外力が加わると安全制御によって止まってしまうという課題があり、力制御やインパクト動作などには不向きである。そこで、ダイナミックドライブモータを用いた低減速比のロボットアームシステムの開発を行った。また、深層模倣学習では、大量のデータが必要という問題が存在する。そこで、環境を理解するための表現学習に関する研究も行った。我々は、従来の表現学習で用いられる統計的独立性を一般化する独自の手法によって、表現学習の理論構築と実証実験を行った。また、開発した手法を、シミュレーション上のステレオ画像に対して適用し、三次元空間の表現学習に着手した。

People の USES で occasion requires 応 - な object operation ability を ロ ボ ッ ト で be presently す る こ と を purpose と し て, モ デ ル turn difficult な の を deep operation as object to mimic seaborne に よ っ て be presently す る methodology を Ming ら か に す る こ と が this プ ロ ジ ェ ク ト の purpose で あ る. は, fuck away this year 縦 シ ス テ ム, far ロ ボ ッ ト, ロ ボ ッ ト の apparent 覚 intelligence を prompt す る た め の HMD シ ス テ ム, の fuck when 縦 の apart people intelligence の measuring を may と す る deep imitative learning プ ラ ッ ト フ ォ ー ム を with い て, バ ナ ナ の skin む き を be presently し た. バ ナ ナ は, great individual difference が き く, い ま ま で imitative learning で be presently さ れ て き た ど の タ ス ク よ り も, difficulty generalization が で あ る タ ス ク と し て set し た. At royal を with い て タ ス ク に important な, 徴 を spare し, plain early い フ ィ ー ド バ ッ ク suppression を line う ロ ー カ ル action と, big 雑 に ゴ ー ル state に to け た orbit を generated す る グ ロ ー バ ル movement を group み close わ せ る こ と で, imitative learning を be presently し た. Status quo の プ ラ ッ ト フ ォ ー ム は, external force が わ る と security suppression に よ っ て check ま っ て し ま う と い う subject が あ り, force suppression や イ ン パ ク ト action な ど に は to き で あ る. そ こ で, ダ イ ナ ミ ッ ク ド ラ イ ブ モ ー タ を with い た low reduction ratio の ロ ボ ッ ト ア ー ム シ ス テ ム の open 発 を line っ た. Youdaoplaceholder0, deep imitation learning で で, a large number of <s:1> デ デ タが タが necessary と う う う problems が exist する. Youdaoplaceholder0 する で, environmental を, understanding するため, performance learning に, related する, research そ, field った. I 々 は, で 従 to の performance study with い ら れ る statistical independence を generalization す る の technique alone に よ っ て, performance study の theory to construct と be card be 験 を line っ た. ま た, open 発 し た を, シ ミ ュ レ ー シ ョ ン on の ス テ レ オ portrait に し seaborne て し, three dimensional space の performance study に し た.

项目成果

Memory-based gaze prediction in deep imitation learning for robot manipulation

• DOI: 10.1109/icra46639.2022.9812087
• 发表时间: 2022-02
• 期刊: 2022 International Conference on Robotics and Automation (ICRA)
• 作者: Heecheol Kim;Y. Ohmura;Y. Kuniyoshi

Training Robots Without Robots: Deep Imitation Learning for Master-to-Robot Policy Transfer

• DOI: 10.1109/lra.2023.3262423
• 发表时间: 2022-02
• 期刊: IEEE Robotics and Automation Letters
• 影响因子: 5.2
• 作者: Heecheol Kim;Y. Ohmura;Akihiko Nagakubo;Y. Kuniyoshi

Disentangling Patterns and Transformations from One Sequence of Images with Shape-invariant Lie Group Transformer

使用形状不变李群变换器从一系列图像中解开模式和变换

• 发表时间: 2022
• 作者: Takumi Takada;Wataru Shimaya;Yoshiyuki Ohmura;Yasuo Kuniyoshi
• 通讯作者: Yasuo Kuniyoshi

國吉中嶋研究室ホームページ

中岛国芳实验室主页

Using human gaze in few-shot imitation learning for robot manipulation

• DOI: 10.1109/iros47612.2022.9981706
• 发表时间: 2022-10
• 期刊: 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
• 作者: Shogo Hamano;Heecheol Kim;Y. Ohmura;Y. Kuniyoshi