学習システムを備えた生物規範に基づく2足歩行の実現

通过学习系统实现基于生物规范的双足运动

• 批准号: 05J02829
• 负责人: 松原 崇充
• 金额: $ 1.73万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05J02829/
• 关键词: 2足歩行; 生物規範; 強化学習; ヒューマノイド; 全身協調動作; 倒立振子モデル; 方策勾配法; 方策こう配法; 自然方策勾配法; 変分ベイズ法; CPG

人間のダイナミクスは近似的に倒立振子モデルで説明されることが知られており,運動生理学やロボット工学の分野で様々な運動の説明や実現に広く使われている.我々は,このような汎用性の高いモデルに基づいて,ロボットの全身運動を効率的に学習・獲得させることを試みた.具体的には、倒立振子の状態・行動空間においてタスクを達成するための適切な重心制御則を学習し,獲得された重心の運動は全身の関節運動へと変換される.提案手法を,21自由度を有するヒューマノイドロボットにおけるインパクト動作の学習課題に適用した結果,数千回の試行回数により適切な全身運動が学習できることを数値実験により確認した.この成果に某づいて,国際学会で発表1件を行い,さらに論文誌1件への掲載が決定された.また,倒立振子モデル上での運動を全身関節の運動へと分配する際に問題となる不良設定性を,人の見本動データに基づいて解決する方法を提案し,シミュレーション実験によりその有効性を示した.この成果について,国内学会での発表1件を行った.さらに,より効率的な運動学習・環境適応性を実現するため,平均報酬の計量空間における強化学習法を提案した.提案手法は,強化学習の目的関数である平均報酬の計量空間上での方策勾配法であり,従来法で問題であったプラトー現象と呼ばれる学習の停滞を生じることなく,効率的な学習が実現される.また,極値付近では2次収束性も有している.この成果について,国内の研究会での発表1件を行った.今後は,2足歩行や全身運動のようなロボットの複雑な運動の学習に対する適用を目指す.

已知人类动力学在大约通过倒置模型中来解释，并在运动生理和机器人技术领域广泛使用，以解释和实现各种运动。基于这个多功能模型，我们试图有效地学习和获取机器人的整个身体运动。具体而言，我们学到了适当的重力控制规则，用于在倒置的状态和倒置的状态和行为空间中实现任务，重力中心的获得的运动被转换为整个身体的关节运动。我们将所提出的方法应用于具有21个自由度的人形机器人中影响运动的学习任务，并通过数值实验确认，可以通过数千个试验来学习适当的整个身体运动。该结果是在国际会议上的演讲，并决定在一篇论文中发表。此外，我们提出了一种解决缺陷设置问题的方法，这是一个基于人类样本数据的整个身体关节运动中的运动时的问题，并通过模拟实验证明了其有效性。日本一个日本社会进行了一个演讲。此外，为了实现更有效的运动学习和对环境的适应性，我们在平均奖励的计量空间中提出了一种加强学习方法。所提出的方法是平均奖励的计量空间中的一种测量梯度方法，这是强化学习的客观功能，并且可以在不停滞的学习停滞的情况下，可以实现有效的学习，这是常规方法的问题。它还围绕极端值具有二次收敛。日本研究小组进行了一个演讲。我们的目的是将其应用于复杂机器人的学习，例如两足动物和全身运动。

项目成果

Learning CPG-based biped locomotion with a policy gradient method

• DOI: 10.1016/j.robot.2006.05.012
• 发表时间: 2005-12
• 期刊: 5th IEEE-RAS International Conference on Humanoid Robots, 2005.
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya

逆運動学問題に置ける自然勾配法とヤコビアン擬似逆行列に基づく解法の等価性

基于自然梯度法和雅可比伪逆的逆运动学问题解的等价性

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充;Takamitsu Matsubara;松原 崇充
• 通讯作者: 松原 崇充

人間動作より抽出される低次元特徴空間におけるヒューマノイドの全身運動制御

从人体运动中提取的低维特征空间中的仿人全身运动控制

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充;Takamitsu Matsubara;松原 崇充;松原 崇充
• 通讯作者: 松原 崇充

Learning to acquire whole-body humanoid CoM movements to achieve dynamic tasks

• DOI: 10.1109/robot.2007.363871
• 发表时间: 2007-04
• 期刊: Proceedings 2007 IEEE International Conference on Robotics and Automation
• 作者: Takamitsu Matsubara;J. Morimoto;J. Nakanishi;S. Hyon;Joshua G. Hale;G. Cheng

平均報酬の多様体に基づく方策勾配法

基于平均奖励流形的策略梯度方法

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充
• 通讯作者: 松原 崇充