A zealous parallel gradient descent algorithm
A zealous parallel gradient descent algorithm
复制标题
DOI：
--
复制
发表时间：
2010-12
期刊：
影响因子：
--
通讯作者：
Gilles Louppe;P. Geurts
中科院分区：
文献类型：
--
作者：
Gilles Louppe;P. Geurts
平行和分布式算法已成为现代机器学习任务的必要性。在这项工作中，我们专注于平行的异步梯度下降[1，2，3]，并提出了一种热心的变体，该变体可以最大程度地减少处理器的空闲时间以实现大量加速。然后，我们在训练限制的玻尔兹曼机器上，在大型协作过滤任务上训练限制性的玻尔兹曼机器。
Parallel and distributed algorithms have become a necessity in modern machine learning tasks. In this work, we focus on parallel asynchronous gradient descent [1, 2, 3] and propose a zealous variant that minimizes the idle time of processors to achieve a substantial speedup. We then experimentally study this algorithm in the context of training a restricted Boltzmann machine on a large collaborative filtering task.