学習時間を1/10にした学習手法の拡張によるロボット向けエッジAIの構築と評価

通过扩展学习方法构建和评估机器人边缘AI，将学习时间减少到1/10

• 批准号: 20K11943
• 负责人: 小谷 直樹
• 金额: $ 2.75万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11943/
• 关键词: 強化学習; 転移学習; 学習高速化; 心理学; マルチタスク; 報酬; AHP; ロボット; シミュレーション; sim to real; 機械学習; 二輪ロボット; クラスタリング; 学習時間; 状態空間

令和4年度は，連続状態行動空間を扱う強化学習エージェントの学習過程において，途中で学習が不安定化し，タスクの成功率が低下する問題の抑制と心理学に基づく学習効率の改善方法について研究を行った．また，昨年度に引き続き，AHPを用いた報酬設計の工夫による学習解の質の改善について検証した．具体的には，学習が不安定化する問題に対しては，連続状態行動空間を自律的に離散化しながら政策を学習する場合，遷移先の状態が1ステップ前の離散状態と同じ状態と判別する場合がある．この時，td誤差を計算すると，割引率があることから負の値になり，行動の評価が下がるため，収束していた政策を広げるように更新する．この理由により行動が不安定になる．特に，1ステップ当たりのエージェントの動作時間が短くなると，この影響が大きくなる．この問題を軽減することでタスクの成功率の低下を抑制した．次に，心理学において，複数のタスクを同時並行的に学習する方法がある．この仕組みをマルチタスクを扱う強化学習エージェントに適用することで，学習効率を高めることができるかをロボットを用いた学習実験によって検証した．AHPを用いた報酬設計については，迷路問題を扱う強化学習エージェントを用いてその効果を検証した．10×10の迷路問題に対して，ゴールへ到達することに加えて，より少ないステップ数で到達することを報酬として表現し学習した結果，ステップ数を評価に加えることによってゴール到達に要するステップ数が小さくなることを確認した．以上の研究に関して，学会で2件の口頭発表を行った．

In 2004, we conducted research on how to improve learning efficiency in psychology, and how to suppress the problem of unstable learning and low success rate. In the past year, we have introduced the concept of AHP, which is used to improve the quality of compensation design. Specifically, the problem of learning instability is related to the discretization of continuous state action space and self-discipline. In the case of policy learning, the discrete state before the transition state is determined. When the error is calculated, the cut rate is changed. The reason for this action is unstable. In particular, the action time of the first step is short and the impact is large. The problem of reducing the success rate of the project is to suppress it. Secondly, in psychology, there are many ways to learn multiple objects simultaneously and in parallel. This is the first time that a group of people has been involved in the study of reinforcement learning. The study efficiency is high. The study efficiency is high. The study The number of students arriving at the school is less than the number of students arriving at the school The above research is related to learning 2 oral presentations.

项目成果

転移学習を用いた高次元状態空間での強化学習の高速化の検討

利用迁移学习加速高维状态空间强化学习的研究

• 发表时间: 2020
• 作者: Koutarou Matsumoto;Yasunobu Nohara;Mikako Sakaguchi;Yohei Takayama;Hidehisa Soejima and Naoki Nakashima;小谷直樹
• 通讯作者: 小谷直樹

Reduction of Learning Time for Differential-Wheeled Mobile Robots by Knowledge Transfer for Real-Time Learning

通过实时学习的知识转移减少差动轮式移动机器人的学习时间

• DOI: 10.5687/iscie.33.317
• 发表时间: 2020
• 期刊: Transactions of the Institute of Systems, Control and Information Engineers
• 作者: 相川渉;三輪誠;佐々木裕;Y.Kato and T.Saeki;藤田浩輝，有吉雄哉，吉村康広，小川泰信，花田俊也;Kotani Naoki
• 通讯作者: Kotani Naoki

ロボット強化学習のための学習安定化の一手法

一种机器人强化学习的学习稳定方法

• 发表时间: 2022
• 作者: Ryuichiro Higashinaka;Takashi Minato;Kurima Sakai;Tomo Funayama;Hiromitsu Nishizaki;Takayuki Nagai;小谷直樹
• 通讯作者: 小谷直樹

階層意思決定法を用いた強化学習の報酬設計

使用分层决策方法进行强化学习的奖励设计

• 发表时间: 2023
• 作者: Yamaguchi Tomohiro;Kawabuchi Yuto;Takahashi Shota;Ichikawa Yoshihiro;Takadama Keiki;根来 陸也，小谷 直樹
• 通讯作者: 根来 陸也，小谷 直樹

二輪ロボットを用いた実時間学習に向けた検討

两轮机器人实时学习研究

• 发表时间: 2021
• 作者: Matsumoto Koutarou;Nohara Yasunobu;Soejima Hidehisa;Yonehara Toshiro;Nakashima Naoki;Kamouchi Masahiro;小谷直樹
• 通讯作者: 小谷直樹