Action-Based State Space Construction for Robot Learning
Action-Based State Space Construction for Robot Learning
复制标题
基于动作的机器人学习状态空间构建
DOI：
10.7210/jrsj.15.886
复制
发表时间：
1997
期刊：
影响因子：
--
通讯作者：
K. Hosoda
中科院分区：
文献类型：
--
作者：
M. Asada;S. Noda;K. Hosoda
强化学习等机器人学习通常需要明确定义的状态空间才能收敛。然而，由于状态空间和动作空间之间的相互依赖，建立这样的状态空间是机器人学习的主要问题之一，这类似于众所周知的“鸡和蛋”问题。本文提出了一种基于视觉的移动机器人基于动作的状态空间构建方法。处理相互依赖性的基本思想是，我们将状态定义为一组输入向量，机器人可以从该簇中到达目标状态或通过一种动作原语的序列已经获得的状态，无论其长度如何，并且该序列被定义为一个动作。为了实现这些想法，我们需要机器人的大量数据（经验），并将输入向量聚类为超椭球体，以便将整个状态空间按照动作分割成状态转移图，从中获得最优动作序列。为了证明该方法的有效性，我们将其应用于试图将球射入球门的足球机器人。显示了模拟和真实实验。
Robot learning such as reinforcement learning generally needs a well-defined state space in order to converge. However, to build such a state space is one of the main issues of the robot learning because of the inter-dependence between state and action spaces, which resembles to the well known“chicken and egg”problem. This paper proposes a method of action-based state space construction for vision-based mobile robots. Basic ideas to cope with the interdependence are that we define a state as a cluster of input vectors from which the robot can reach the goal state or the state already obtained by a sequence of one kind action primitive regardless of its length, and that this sequence is defined as one action. To realize these ideas, we need many data (experiences) of the robot and cluster the input vectors as hyper ellipsoids so that the whole state space is segmented into a state transition map in terms of action from which the optimal action sequence is obtained. To show the validity of the method, we apply it to a soccer robot which tries to shoot a ball into a goal. The simulation and real experiments are shown.
利用3G风险工具进行青少年犯罪风险评估（3）
DOI：
--
发表时间：
2009
期刊：
影响因子：
--
作者：
Takemi Mori;Masaru Takahashi;Ken-ichi Kanto & Ken-ichi Ohbuchi;Masaru Takahashi & Takemi Mori;森丈弓;森丈弓;森 丈弓・高橋 哲・菅藤健一・丸山もゆる・相澤 優・石黒裕子・内山八重・小野広明・吉澤 淳・大渕憲一;森丈弓;森 丈弓・菅藤健一・高橋 哲・丸山もゆる・相澤 優・石黒裕子・内山八重・小野広明・吉澤 淳・大渕憲一
通讯作者：
森 丈弓・菅藤健一・高橋 哲・丸山もゆる・相澤 優・石黒裕子・内山八重・小野広明・吉澤 淳・大渕憲一