Adaptive scale-invariant online algorithms for learning linear models
Adaptive scale-invariant online algorithms for learning linear models
复制标题
用于学习线性模型的自适应尺度不变在线算法
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Manfred K. Warmuth
中科院分区：
文献类型：
--
作者：
Michal Kempka;W. Kotłowski;Manfred K. Warmuth
我们考虑使用线性模型进行在线学习，其中算法在依次显示的实例（特征向量）上预测，并将其与事后观察中最佳的线性函数（比较器）进行比较。该框架中的流行算法，例如在线梯度下降（OGD），具有参数（学习率），理想情况下应根据功能的尺度和最佳比较器对其进行调整，但是这些数量仅在该末端可用。学习过程。在本文中，我们通过提出在线算法来解决调整问题，这些算法做出预测，这些预测是在任意重新续订功能的情况下不变的。该算法没有参数可以调节，不需要在实例或比较器的规模上进行任何先验知识，并且在OGD中获得了匹配的遗憾界限（最多可对数因素），该界限具有最佳调整的每个维度的单独学习率，同时保留的同时，可比的运行时性能。
We consider online learning with linear models, where the algorithm predicts on sequentially revealed instances (feature vectors), and is compared against the best linear function (comparator) in hindsight. Popular algorithms in this framework, such as Online Gradient Descent (OGD), have parameters (learning rates), which ideally should be tuned based on the scales of the features and the optimal comparator, but these quantities only become available at the end of the learning process. In this paper, we resolve the tuning problem by proposing online algorithms making predictions which are invariant under arbitrary rescaling of the features. The algorithms have no parameters to tune, do not require any prior knowledge on the scale of the instances or the comparator, and achieve regret bounds matching (up to a logarithmic factor) that of OGD with optimally tuned separate learning rates per dimension, while retaining comparable runtime performance.
通过硬币投注训练深度网络，无需学习率
DOI：
--
发表时间：
2017
期刊：
Advances in Neural Information Processing Systems 30
影响因子：
--
作者：
Orabona, Francesco;Tommasi, Tatiana
通讯作者：
Tommasi, Tatiana