学習システムを備えた生物規範に基づく2足歩行の実現

通过学习系统实现基于生物规范的双足运动

• 批准号: 05J02829
• 负责人: 松原 崇充
• 金额: $ 1.73万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05J02829/
• 关键词: 2足歩行; 生物規範; 強化学習; ヒューマノイド; 全身協調動作; 倒立振子モデル; 方策勾配法; 方策こう配法; 自然方策勾配法; 変分ベイズ法; CPG

人間のダイナミクスは近似的に倒立振子モデルで説明されることが知られており,運動生理学やロボット工学の分野で様々な運動の説明や実現に広く使われている.我々は,このような汎用性の高いモデルに基づいて,ロボットの全身運動を効率的に学習・獲得させることを試みた.具体的には、倒立振子の状態・行動空間においてタスクを達成するための適切な重心制御則を学習し,獲得された重心の運動は全身の関節運動へと変換される.提案手法を,21自由度を有するヒューマノイドロボットにおけるインパクト動作の学習課題に適用した結果,数千回の試行回数により適切な全身運動が学習できることを数値実験により確認した.この成果に某づいて,国際学会で発表1件を行い,さらに論文誌1件への掲載が決定された.また,倒立振子モデル上での運動を全身関節の運動へと分配する際に問題となる不良設定性を,人の見本動データに基づいて解決する方法を提案し,シミュレーション実験によりその有効性を示した.この成果について,国内学会での発表1件を行った.さらに,より効率的な運動学習・環境適応性を実現するため,平均報酬の計量空間における強化学習法を提案した.提案手法は,強化学習の目的関数である平均報酬の計量空間上での方策勾配法であり,従来法で問題であったプラトー現象と呼ばれる学習の停滞を生じることなく,効率的な学習が実現される.また,極値付近では2次収束性も有している.この成果について,国内の研究会での発表1件を行った.今後は,2足歩行や全身運動のようなロボットの複雑な運動の学習に対する適用を目指す.

Human の ダ イ ナ ミ ク ス は approximate に handstand oscillator モ デ ル で illustrate さ れ る こ と が know ら れ て お り, exercise physiology や ロ ボ ッ ト engineering の eset で others 々 の な movement that や be presently に hiroo く make わ れ て い る. I 々 は, こ の よ う な high domestic sex の い モ デ ル に base づ い て, ロ ボ ッ ト の body movement を sharper rate に study, obtain さ せ る こ と を try み た. Specific に は, inverted oscillator の state action space に お い て タ ス ク を reached す る た め の appropriate な focus study を し suppression, obtain さ れ た focus の movement は systemic の masato section movement へ と variations in さ れ る. Proposal gimmick を, 21 degrees of freedom を す る ヒ ュ ー マ ノ イ ド ロ ボ ッ ト に お け る イ ン パ ク ト action の learning subject に applicable し た as a result, thousands of returning the の trial number に よ り appropriate な body movement が learning で き る こ と を the numerical be 験 に よ り confirm し た. こ の results に a づ い て, international society で 発 table 1 line を い, さ ら に paper 1 piece へ の first white jasmines load が decided さ れ た. ま た, inverted oscillator モ デ ル on で の movement section を systemic masato の へ と distribution す る interstate に problem と な る bad qualitative を, の see this move デ ー タ に base づ い て solve す る method proposed を し シ ミ ュ レ ー シ ョ ン be 験 に よ り そ の have sharper sex を shown し た. こ の results に つ い て, domestic society で の 発 table 1 Line を っ た. さ ら に, よ り な the working rate, motor learning environment, pleasant to 応 を be presently す る た め, average reward の measurement space に お け る reinforcement learning method proposed を し た. Proposal は, reinforcement learning purpose の masato number で あ る average reward の measurement space で の order hook match method で あ り, 従 to law で で あ っ た プ ラ ト と ー phenomenon called ば れ る learning の stagnation を raw じ る こ と な く, sharper rate な learning が be presently さ れ る. ま た, extremely interesting to pay nearly で は twice 収 beam sex も have し て い る. こ の results に つ い て, domestic の The research association で で issues one table を conducts った. In the future,, two-foot walking や full-body movement <s:1> ようなロボット <s:1> re-雑 な movement <e:1> learning に is applicable to する and を finger す.

项目成果

Learning CPG-based biped locomotion with a policy gradient method

• DOI: 10.1016/j.robot.2006.05.012
• 发表时间: 2005-12
• 期刊: 5th IEEE-RAS International Conference on Humanoid Robots, 2005.
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya

逆運動学問題に置ける自然勾配法とヤコビアン擬似逆行列に基づく解法の等価性

基于自然梯度法和雅可比伪逆的逆运动学问题解的等价性

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充;Takamitsu Matsubara;松原 崇充
• 通讯作者: 松原 崇充

人間動作より抽出される低次元特徴空間におけるヒューマノイドの全身運動制御

从人体运动中提取的低维特征空间中的仿人全身运动控制

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充;Takamitsu Matsubara;松原 崇充;松原 崇充
• 通讯作者: 松原 崇充

平均報酬の多様体に基づく方策勾配法

基于平均奖励流形的策略梯度方法

• 发表时间: 2007
• 作者: Takamitsu Matsubara;Jun Morimoto;Jun Nakanishi;Masa-aki Sato;Kenji Doya;Takamitsu Matsubara;松原 崇充
• 通讯作者: 松原 崇充

Learning to acquire whole-body humanoid CoM movements to achieve dynamic tasks

• DOI: 10.1109/robot.2007.363871
• 发表时间: 2007-04
• 期刊: Proceedings 2007 IEEE International Conference on Robotics and Automation
• 作者: Takamitsu Matsubara;J. Morimoto;J. Nakanishi;S. Hyon;Joshua G. Hale;G. Cheng