ロボットによる操作対象物体の外見的・内面的特徴に合わせた道具使用学習モデルの構築

根据机器人操作对象的外部和内部特征构建工具使用学习模型

• 批准号: 20J21255
• 负责人: 斎藤 菜美子
• 金额: $ 2.11万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J21255/
• 关键词: マニピュレーション; 深層学習; マルチモーダル学習; 道具使用; ヒューマノイドロボット; 認識

ロボットの視覚・触覚・力覚を効果的に用い、対象物体の形状に合わせた動作を生成するための深層予測学習モデルを提案した。提案するモデルは、視覚情報から物体形状の特徴量を予測するモジュールと、力覚と触覚を用いて動作を生成するための再帰型深層予測学習モジュールから構成される。まず初めに視覚により大まかな物体形状を捉えて特徴量を算出し、その特徴量を再帰型学習モジュールの潜在空間に入力した後、力覚と触覚を使って詳細に凹凸を知覚しながら動作生成をさせる。評価実験では物体の表面を拭き取る掃除タスクをロボットに行わせ、視認できない、物体の裏面やロボット本体により隠れた場所でも拭き動作を達成できることを示した。この成果は国際会議IEEE ICRA 2022にて研究発表を行い、Travel Awardを受賞し、高く評価された。続いて英国エジンバラ大学に４月から９月の間滞在して共同研究をし、長期マニピュレーションタスク実現のための深層学習モデルを提案した。長期のタスクを、短期の目標であるサブゴールに切り分けて、現在の状態と最終目標の差分を元に次のサブゴールを順に予測し、そのサブゴールを一つ一つ達成するための動作計画をさせる。ロボットにピザを組み立て、ナイフかピザカッターを選択させて切る作業を実現させ、未学習の物体と道具の配置でも正しく作業を行えることを示した。ロボットのセットアップ・実験・論文執筆はエジンバラ大学の研究者と共に行い、技術交流・意見交換をした。論文はIEEE ICRA2023にてacceptされており、2023年5月の会議にて発表予定である。

ロ ボ ッ ト の apparent 覚, touch 覚, force 覚 を unseen fruit に with い, like object shape の に seaborne わ せ た action を generated す る た め の deep to measure learning モ デ ル を proposal し た. Proposal す る モ デ ル は, 覚 intelligence か ら object shape の, を 徴 quantity to measure す る モ ジ ュ ー ル と, force 覚 と touch 覚 を with い て action を generated す る た め の 帰 type deep again to measure learning モ ジ ュ ー ル か ら constitute さ れ る. Early ま ず め に apparent 覚 に よ り big ま か な object shape を catch え て, を 徴 quantity calculated し, そ の special type 徴 quantity を 帰 again learning モ ジ ュ ー ル の potential space に し into force, force after た 覚 と touch 覚 を make っ て detailed に bump を know 覚 し な が ら action generated を さ せ る. Review 価 be 験 で は dry き take る sweep surface を の タ ス ク を ロ ボ ッ ト に line わ せ, visual cognition で き な い, object の や ロ ボ ッ ト ontology に よ り government れ た places で も mop き action を reached で き る こ と を shown し た. The にて research presentation at the international conference IEEE ICRA 2022 was を, Travel Awardを was awarded, and it received a high-level く evaluation 価された. 続 い て British エ ジ ン バ ラ university に April か ら between September の lag in し て joint research を し, long-term マ ニ ピ ュ レ ー シ ョ ン タ ス ク be presently の た め の deep learning モ デ ル を proposal し た. Long-term の タ ス ク を, short-term の target で あ る サ ブ ゴ ー ル に cut り け て, the ultimate goal is in the state of の と の difference を yuan に time の サ ブ ゴ ー ル を shun に to し, そ の サ ブ ゴ ー ル を a つ つ reached す る た め の action plan を さ せ る. ロ ボ ッ ト に ピ ザ を group み て, ナ イ フ か ピ ザ カ ッ タ ー を sentaku さ せ て cut る homework を be presently さ せ, not learning の object と props の configuration で も is し く line homework を え る こ と を shown し た. ロ ボ ッ ト の セ ッ ト ア ッ プ · be 験 · papers written は エ ジ ン バ の ラ university researchers と に line い, technology exchange, exchange を し た. Papers: にて IEEE ICRA2023にてacceptされてお scheduled である May 2023 <s:1> conference にて

项目成果

How to Select and Use Tools? : Active Perception of Target Objects Using Multimodal Deep Learning

如何选择和使用工具？

• DOI: 10.1109/lra.2021.3062004
• 发表时间: 2021
• 期刊: IEEE Robotics and Automation Letters
• 影响因子: 5.2
• 作者: Namiko Saito;Tetsuya Ogata;Satoshi Funabashi;Hiroki Mori;Shigeki Sugano
• 通讯作者: Shigeki Sugano

the University of Edinburgh/Alan Turing Institute(英国)

爱丁堡大学/艾伦图灵研究所（英国）

Utilization of Image/Force/Tactile Sensor Data for Object-Shape-Oriented Manipulation: Wiping Objects With Turning Back Motions and Occlusion

利用图像/力/触觉传感器数据进行面向对象形状的操作：通过向后运动和遮挡擦拭对象

• DOI: 10.1109/lra.2021.3136657
• 发表时间: 2022
• 期刊: IEEE Robotics and Automation Letters
• 影响因子: 5.2
• 作者: Saito Namiko;Shimizu Takumi;Ogata Tetsuya;Sugano Shigeki
• 通讯作者: Sugano Shigeki

Wiping 3D-objects using Deep Learning Model based on Image/Force/Joint Information

使用基于图像/力/关节信息的深度学习模型擦拭 3D 对象

• 发表时间: 2020
• 作者: Saito Namiko;Wang Danyang;Ogata Tetsuya;Mori Hiroki;Sugano Shigeki
• 通讯作者: Sugano Shigeki

Bayesian Estimation of Model Parameters of Equivalent Circuit Model for Detecting Degradation Parts of Lithium-ion Battery

• DOI: 10.1109/access.2021.3131190
• 发表时间: 2021
• 期刊: IEEE Access
• 影响因子: 3.9
• 作者: Tamon Miyake;Tomoyuki Suzuki;Satoshi Funabashi;Namiko Saito;Mitsuhiro Kamezaki;Takahiro Shoda;T. Saigo;S. Sugano