強化学習による移動ロボットのための状態空間の自動構成法に関する研究

基于强化学习的移动机器人状态空间自动构建研究

• 批准号: 07243214
• 负责人: 浅田 稔
• 金额: $ 1.41万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1995
• 资助国家: 日本
• 起止时间: 1995 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-07243214/
• 关键词: 強化学習; 状態空間; 自律的分割; サッカーロボット

強化学習を適用するには、状態空間を適切に選択する必要がある.本研究では,選択されたセンサー情報を自律的に分割する問題を,サッカーロボットがシューティング行動を強化学習するタンクを例にとり,経験による視覚情報の文節化を実施した.本年度の研究実績及び評価は以下の通りである.視覚情報から得られる情報として,ロボットに塔載されたTVカメラから得られるボール及びゴールの画像が得られ,二つの独立なモーターで起動される移動車を想定した.1.状態空間を構成する要素として,ボールの位置,大きさ,ゴールの位置,大きさ,向きを選択した.情報選択に関しては、統計的手法を用いて自動化を試みており,対象物体が背景から容易に抽出できる場合は,選択可能性が高いことを確認している.移動車は,左右独立のモータにそれぞれ,前進,停止,後退の3種の動きが実現でき,合計9つの移動がとれる行動空間を想定した.ボールをゴールにシュートできる行動と状態のペアを経験から求め,状態空間のサンプリング点として記録し,統計的手法を用いて,成功を多く含み失敗をなるべくふくまない凸の状態集合を求め,一つの状態として記録した.上で獲得された状態をゴール状態として,同様の操作を繰り返し、経験に基づく状態空間のクラスタリングを実現した.クラスタリングされた状態空間を用いて強化学習を実施し,状態数の軽減,それゆえ学習時間が激減できることをシミュレーションで示した.実機でデータをサンプルし学習を実施した結果,シュート行動が実現され,手法の有効性が確認できた.但し,データサンプルに偏りがあると,失敗することもあり,いかに良好なデータを与えるかが,今後の課題となった.

Reinforcement learning is necessary This study focuses on the problem of segmentation of visual information and the implementation of visual information segmentation. This year's research achievements and comments are as follows. Visual information can be obtained from the information and images of TV, TV Information selection is related to the use of statistical methods, automation, testing, image objects from the background, easy to extract, and the possibility of selection is high. The mobile car is independent of the left and right, and the three kinds of movement are forward, stop, and backward. The total of 9 kinds of movement is determined by the movement space. The method of statistical analysis is used to find out how many successes include failures, and how many states are recorded. On the other hand, the state of the base state space can be obtained by changing the state of the base state space to the state of the base state space. The state space is used to implement reinforcement learning, the number of states is reduced, and the learning time is reduced. The results of the implementation of the study, the implementation of the action, and the effectiveness of the method are confirmed. However, the problem is that there is no way to solve it.

项目成果

野田: "強化学習によるロボットの行動獲得のための状態空間の自律的構成" 第5回ロボットシンポジウム予稿集. 145-150 (1995)

野田：“使用强化学习获取机器人行为的状态空间的自主配置”第五届机器人研讨会论文集145-150（1995）。

M.Asada: "Non-physical intervention in robot learning based on lfe Programming by Demonstration method" Proc,of Machine Learning Conference Workshop on Learning from Examples vs.25-31 (1995)

M.Asada：“基于演示方法的生命编程的机器人学习中的非物理干预”Proc，of Machine Learning Conference Workshop on Learning from Examples vs.25-31 (1995)

浅田: "ロボットの行動獲得のための状態空間の自律的構成" 第9回人工知能 学会全国大会論文集. 157-160 (1995)

Asada：“机器人行为获取的状态空间的自主配置”第九届全国人工智能学会会议论文集157-160（1995）。

M.Asada: "Vision-based reinforcement Learming for purposive behavior acquisition" Proc.of IEEE Int.Conf.on Robotics and Automation. 146-153 (1995)

M.Asada：“用于有目的行为习得的基于视觉的强化学习”Proc.of IEEE Int.Conf.on Robotics and Automation。