Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection
Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection
复制标题
通过自动域选择在高维系统中进行策略搜索的贝叶斯优化
DOI：
10.1109/iros40897.2019.8967736
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
M. Zeilinger
中科院分区：
文献类型：
--
作者：
Lukas P. Fröhlich;Edgar D. Klenske;Christian Daniel;M. Zeilinger
贝叶斯优化（BO）是一种有效的优化代价高的黑箱函数的方法，在机器人、系统设计和参数优化等领域有着广泛的应用。然而，将BO缩放到具有大输入维度（>10）的问题仍然是一个开放的挑战。在本文中，我们建议利用最优控制的结果来扩展BO到更高维的控制任务，并减少手动选择优化域的需要。本文的贡献是双重的：1）我们展示了如何利用学习的动力学模型结合基于模型的控制器来简化BO问题，重点关注优化域的最相关区域。2)基于（1），我们提出了一种方法来找到一个嵌入参数空间，减少有效的优化问题的维数。为了评估所提出的方法的有效性，我们提出了一个实验评估真实的硬件，以及模拟任务，包括一个48维的政策四轴飞行器。
Bayesian Optimization (BO) is an effective method for optimizing expensive-to-evaluate black-box functions with a wide range of applications for example in robotics, system design and parameter optimization. However, scaling BO to problems with large input dimensions (>10) remains an open challenge. In this paper, we propose to leverage results from optimal control to scale BO to higher dimensional control tasks and to reduce the need for manually selecting the optimization domain. The contributions of this paper are twofold: 1) We show how we can make use of a learned dynamics model in combination with a model-based controller to simplify the BO problem by focusing onto the most relevant regions of the optimization domain. 2) Based on (1) we present a method to find an embedding in parameter space that reduces the effective dimensionality of the optimization problem. To evaluate the effectiveness of the proposed approach, we present an experimental evaluation on real hardware, as well as simulated tasks including a 48-dimensional policy for a quadcopter.
DOI：
10.1613/jair.4806
发表时间：
2013-01
期刊：
J. Artif. Intell. Res.
影响因子：
--
作者：
Ziyun Wang;M. Zoghi;F. Hutter;David Matheson;Nando de Freitas
通讯作者：
Ziyun Wang;M. Zoghi;F. Hutter;David Matheson;Nando de Freitas
合成基因设计的贝叶斯优化
DOI：
10.48550/arxiv.1505.01627
发表时间：
2015
期刊：
arXiv e-prints
影响因子：
--
作者：
Gonz
通讯作者：
Gonz