Hallucinative Topological Memory for Zero-Shot Visual Planning
Hallucinative Topological Memory for Zero-Shot Visual Planning
复制标题
用于零样本视觉规划的幻觉拓扑记忆
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Aviv Tamar
中科院分区：
文献类型：
--
作者：
Kara Liu;Thanard Kurutach;Christine Tung;P. Abbeel;Aviv Tamar
在视觉规划（VP）中，智能体通过对离线获得的动态系统的观察来学习规划目标导向的行为，例如从自我监督的机器人交互中获得的图像。大多数之前的 VP 工作都是通过在学习的潜在空间中进行规划来解决这个问题，从而导致低质量的视觉计划和困难的训练算法。相反，在这里，我们提出了一种简单的 VP 方法，该方法直接在图像空间中进行规划并显示有竞争力的性能。我们建立在半参数拓扑记忆（SPTM）方法的基础上：图像样本被视为图中的节点，从图像序列数据中学习图的连接性，并且可以使用传统的图搜索方法来执行规划。我们对 SPTM 提出了两项修改。首先，我们使用允许稳定训练的对比预测编码来训练基于能量的图连接函数。其次，为了在新领域中实现零样本规划，我们学习了一个条件 VAE 模型，该模型在给定领域上下文的情况下生成图像，并使用这些幻觉样本来构建连接图和规划。我们证明，在使用计划引导轨迹跟踪控制器时，在计划可解释性和成功率方面，这种简单的方法显着优于最先进的 VP 方法。有趣的是，我们的方法可以获取对象的重要视觉属性，例如它们的几何形状，并在计划中考虑它。
In visual planning (VP), an agent learns to plan goal-directed behavior from observations of a dynamical system obtained offline, e.g., images obtained from self-supervised robot interaction. Most previous works on VP approached the problem by planning in a learned latent space, resulting in low-quality visual plans, and difficult training algorithms. Here, instead, we propose a simple VP method that plans directly in image space and displays competitive performance. We build on the semi-parametric topological memory (SPTM) method: image samples are treated as nodes in a graph, the graph connectivity is learned from image sequence data, and planning can be performed using conventional graph search methods. We propose two modifications on SPTM. First, we train an energy-based graph connectivity function using contrastive predictive coding that admits stable training. Second, to allow zero-shot planning in new domains, we learn a conditional VAE model that generates images given a context of the domain, and use these hallucinated samples for building the connectivity graph and planning. We show that this simple approach significantly outperform the state-of-the-art VP methods, in terms of both plan interpretability and success rate when using the plan to guide a trajectory-following controller. Interestingly, our method can pick up non-trivial visual properties of objects, such as their geometry, and account for it in the plans.
DOI：
--
发表时间：
2018-04
期刊：
ArXiv
影响因子：
--
作者：
A. Srinivas;A. Jabri;P. Abbeel;S. Levine;Chelsea Finn
通讯作者：
A. Srinivas;A. Jabri;P. Abbeel;S. Levine;Chelsea Finn
DOI：
--
发表时间：
2018-07
期刊：
ArXiv
影响因子：
--
作者：
Thanard Kurutach;Aviv Tamar;Ge Yang;Stuart J. Russell;P. Abbeel
通讯作者：
Thanard Kurutach;Aviv Tamar;Ge Yang;Stuart J. Russell;P. Abbeel