Correcting Covariate Shift with the Frank-Wolfe Algorithm
Correcting Covariate Shift with the Frank-Wolfe Algorithm
复制标题
DOI：
--
复制
发表时间：
2015-07
期刊：
影响因子：
--
通讯作者：
Junfeng Wen;R. Greiner;Dale Schuurmans
中科院分区：
文献类型：
--
作者：
Junfeng Wen;R. Greiner;Dale Schuurmans
协变量偏移是非平稳环境中学习的一个基本问题，其中训练数据和测试数据之间的条件分布 p(y|x) 相同，而边际分布 ptrpxq 和 ptr(x) 不同。尽管许多协变量偏移校正技术对于现实世界的问题仍然有效，但大多数在实践中不能很好地扩展。在本文中，受最近优化技术的启发，我们将 Frank-Wolfe 算法应用于两种著名的协变量偏移校正技术：核均值匹配（KMM）和 Kullback-Leibler 重要性估计过程（KLIEP），并确定了核羊群效应和 KMM 之间的重要联系。我们的复杂性分析显示了 Frank-Wolfe 方法在求解 KMM 和 KLIEP 方面相对于投影梯度方法的优势。然后，一项实证研究证明了 Frank-Wolfe 算法在实践中校正协变量偏移的有效性和效率。
Covariate shift is a fundamental problem for learning in non-stationary environments where the conditional distribution p(y|x) is the same between training and test data while their marginal distributions ptrpxq and ptr(x) are different. Although many covariate shift correction techniques remain effective for real world problems, most do not scale well in practice. In this paper, using inspiration from recent optimization techniques, we apply the Frank-Wolfe algorithm to two well-known covariate shift correction techniques, Kernel Mean Matching (KMM) and Kullback-Leibler Importance Estimation Procedure (KLIEP), and identify an important connection between kernel herding and KMM. Our complexity analysis shows the benefits of the Frank-Wolfe approach over projected gradient methods in solving KMM and KLIEP. An empirical study then demonstrates the effectiveness and efficiency of the Frank-Wolfe algorithm for correcting covariate shift in practice.