An Efficient Minibatch Acceptance Test for Metropolis-Hastings
An Efficient Minibatch Acceptance Test for Metropolis-Hastings
复制标题
Metropolis-Hastings 的高效小批量验收测试
DOI：
10.24963/ijcai.2018/753
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
J. Canny
中科院分区：
文献类型：
--
作者：
Daniel Seita;Xinlei Pan;Haoyu Chen;J. Canny
我们提出了一种新的大都市黑斯廷斯方法，使用小的预期大小的小批量数据的大数据集。以前关于降低Metropolis-Hastings检验成本的工作与使用每个样本的完整数据集相比仅产生常数因子减少。在这里，我们提出了一种方法，可以调整，以提供任意小的批量大小，通过调整建议的步长或温度。我们的测试使用噪声容忍巴克验收测试与一个新的添加剂校正变量。测试结果与正常SGD更新的成本相似。我们的实验证明了几个数量级的加速比以前的工作。
We present a novel Metropolis-Hastings method for large datasets that uses small expected-size mini-batches of data. Previous work on reducing the cost of Metropolis-Hastings tests yields only constant factor reductions versus using the full dataset for each sample. Here we present a method that can be tuned to provide arbitrarily small batch sizes, by adjusting either proposal step size or temperature. Our test uses the noise-tolerant Barker acceptance test with a novel additive correction variable. The resulting test has similar cost to a normal SGD update. Our experiments demonstrate several order-of-magnitude speedups over previous work.
DOI：
--
发表时间：
2014-06
期刊：
--
影响因子：
--
作者：
R. Bardenet;A. Doucet;C. Holmes
通讯作者：
R. Bardenet;A. Doucet;C. Holmes
影响因子：
1.4
作者：
Tang, Xiaoyu;Xie, Xiang;Zhou, Hongliang
通讯作者：
Zhou, Hongliang