Structure Discovery in Nonparametric Regression through Compositional Kernel Search
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
复制标题
DOI：
--
复制
发表时间：
2013-02
期刊：
影响因子：
6.7
通讯作者：
D. Duvenaud;J. Lloyd;R. Grosse;J. Tenenbaum;Zoubin Ghahramani
中科院分区：
文献类型：
--
作者：
D. Duvenaud;J. Lloyd;R. Grosse;J. Tenenbaum;Zoubin Ghahramani
尽管它很重要，但在非参数回归中选择核的结构形式仍然是一门黑术。我们定义了一个核结构空间，它是通过将少量的基核相加和相乘而组合而成的。我们提出了一种在这个反映科学发现过程的结构空间中进行搜索的方法。所学习的结构通常可以将函数分解成可解释的分量，并能够在时间序列数据集上进行长范围外推。我们的结构搜索方法在各种预测任务上的性能优于许多广泛使用的核和核组合方法。
Despite its importance, choosing the structural form of the kernel in nonparametric regression remains a black art. We define a space of kernel structures which are built compositionally by adding and multiplying a small number of base kernels. We present a method for searching over this space of structures which mirrors the scientific discovery process. The learned structures can often decompose functions into interpretable components and enable long-range extrapolation on time-series datasets. Our structure search method outperforms many widely used kernels and kernel combination methods on a variety of prediction tasks.