基于模仿的仿生双臂协调作业学习方法研究
批准号:
61773378
项目类别:
面上项目
资助金额:
64.0 万元
负责人:
王硕
依托单位:
学科分类:
机器人学与智能系统
结题年份:
2021
批准年份:
2017
项目状态:
已结题
项目参与者:
王宇、卢金燕、席宝、刘乃军、张少林、于灏、马睿宸
中文摘要
仿生双臂型机器人在工业、服务、海洋工程、外空间都有良好的应用前景,但在复杂环境下机器人如何学习自主协调双臂完成新任务仍面临巨大挑战。而通过示范、示教的方式让仿生双臂服务机器人自主学习新的复杂操作任务、适应环境变化是解决以上问题的重要研究思路。本课题在脑科学启发下,将镜像神经系统模型引入仿生双臂协调作业的示范、示教学习研究中,深入分析具有视触感知能力的仿生双臂机器人系统最优构形、镜像神经系统神经计算模型,提出人-机器人的双臂动作映射、基于模仿的仿生双臂协调作业学习框架和优化方法,并通过复杂装配任务进行验证,进而构建动作捕捉、动作映射、学习框架到应用验证的较为系统的方法体系。通过本课题的研究工作,为双臂自主学习新的复杂操作任务提供新的思路和方案,为解决自动编程、复杂操作任务自学习奠定理论和方法基础。
英文摘要
Robots with biomimetic dual manipulators have a brilliant prospect in the applications such as industry, service, ocean engineering, and outer space. But how to autonomously learn new coordination tasks for dual manipulators robots under complex environment is still a great challenge. For solving the above issue, an important idea is that the robots with biomimetic dual manipulators learn to fulfill new complex manipulation tasks and adapt the environment change by means of teaching or demonstration. So inspired by the brain sciences, this project tries to introduce mirror neuron system model into biomimetic dual manipulators’ coordination learning through teaching or demonstration. The optimized configuration of the biomimetic dual manipulators with visual and tactile sensing, the computational neuron model of mirror neuron system, are to be analyzed further. The motion mapping between human arms and dual manipulators, the imitation-based learning framework and optimization for coordinated manipulation of biomimetic dual manipulators, are to be presented and validated through complex assembling tasks. The systematic methods will be formed from motion capture, motion mapping, learning framework to application verification. This research would bring novel ideas and solutions to the dual manipulators’ autonomous learning for new complex manipulation tasks, and laying foundations for automatic robot programming and self-learning of complex manipulation tasks.
双臂协调自主作业机器人在工业、服务、水下、外空间都有良好的应用前景。本项目在脑科学启发下,开展机器人、人工智能与类脑交叉研究。首先,基于双目视觉原理,设计并研发了新型相机指尖触觉传感器GelStereo,实现对高精度触觉点云、平移/旋转滑动信息等多种触觉模式的感知。此外,提出了面向机器人灵巧作业的视触融合感知方法,采用注意力机制进行不同时刻的模态内、跨模态特征提取。针对智能机器人操作技能学习问题,提出了基于策略梯度的强化学习方法和示教引导的机器人技能快速学习方法。最后,本项目还搭建了双臂协调移动作业机器人平台,进行上述关键技术的实验验证。通过本项目的研究工作,为双臂自主学习新的复杂操作任务提供新的思路和方案,为解决自动编程、复杂操作任务自学习奠定理论和方法基础。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
DOI:
10.1109/tcds.2021.3116604
发表时间:
2023-12
期刊:
IEEE Transactions on Cognitive and Developmental Systems
影响因子:
5
作者:
[Peng Hao;Tao Lu;Shaowei Cui;Junhang Wei;Yinghao Cai;Shuo Wang]
通讯作者:
Peng Hao;Tao Lu;Shaowei Cui;Junhang Wei;Yinghao Cai;Shuo Wang
Real–Sim–Real Transfer for Real-World Robot Control Policy Learning with Deep Reinforcement Learning
DOI:
10.3390/app10051555
发表时间:
2020-02
期刊:
Applied Sciences
影响因子:
--
作者:
[N. Liu;Yinghao Cai;Tao Lu;Rui Wang;Shuo Wang]
通讯作者:
N. Liu;Yinghao Cai;Tao Lu;Rui Wang;Shuo Wang
DOI:
10.1007/s11633-021-1296-x
发表时间:
2021-04
期刊:
International Journal of Automation and Computing
影响因子:
4.3
作者:
[Bao Xi;Rui Wang;Yinghao Cai;Tao Lu;Shuo Wang]
通讯作者:
Bao Xi;Rui Wang;Yinghao Cai;Tao Lu;Shuo Wang
Self-attention based visual-tactile fusion representation learning for predicting grasp outcomes
基于自注意力的视觉触觉融合表示学习用于预测抓取结果
DOI:
--
发表时间:
2020
期刊:
IEEE Robotics and Automation Letters
影响因子:
5.2
作者:
[Shaowei Cui, Rui Wang, Junhang Wei, Jiayi Li, Shuo Wang]
通讯作者:
Shuo Wang
Manipulation skill learning on multi-step complex task based on explicit and implicit curriculum learning
基于显隐课程学习的多步骤复杂任务操作技能学习
DOI:
10.1007/s11432-019-2648-7
发表时间:
2021-05
期刊:
Science China Information Sciences
影响因子:
--
作者:
[Naijun Liu, Tao Lu, Yinghao Cai, Rui Wang, Shuo Wang]
通讯作者:
Shuo Wang
共 10 条
双臂机器人灵巧操作的多模态表征与技能学习
-
批准号:--
-
项目类别:面上项目
-
资助金额:54万元
-
批准年份:2022
-
负责人:王硕
-
依托单位:
水下移动作业机器人的自主感知、导航与控制
-
批准号:U1713222
-
项目类别:联合基金项目
-
资助金额:297.0万元
-
批准年份:2017
-
负责人:王硕
-
依托单位:
UVMS机器人系统的仿生设计与自主作业方法研究
-
批准号:51175496
-
项目类别:面上项目
-
资助金额:60.0万元
-
批准年份:2011
-
负责人:王硕
-
依托单位:
仿生机器鱼建模与智能控制方法研究
-
批准号:60605026
-
项目类别:青年科学基金项目
-
资助金额:24.0万元
-
批准年份:2006
-
负责人:王硕
-
依托单位:
国内基金
海外基金