Phase Transitions in Transfer Learning for High-Dimensional Perceptrons.
Phase Transitions in Transfer Learning for High-Dimensional Perceptrons.
复制标题
DOI：
10.3390/e23040400
复制
发表时间：
2021-03-27
期刊：
影响因子：
--
通讯作者：
Lu YM
中科院分区：
文献类型：
--
作者：
Dhifallah O;Lu YM
迁移学习通过利用从相关源任务中学习到的知识来提高目标任务的泛化性能。核心问题包括决定应该传递哪些信息以及何时传递信息是有益的。后一个问题与所谓的负迁移现象有关，即转移的源信息实际上降低了目标任务的泛化性能。当两个任务足够不相似时，就会发生这种情况。在本文中，我们提出了一个理论分析的迁移学习通过研究一对相关的感知器学习任务。尽管我们的模型很简单，但它再现了实践中观察到的几个关键现象。具体来说，我们的渐近分析揭示了一个阶段的过渡，从负迁移到正迁移的两个任务的相似性移动过去一个明确定义的阈值。
Transfer learning seeks to improve the generalization performance of a target task by exploiting the knowledge learned from a related source task. Central questions include deciding what information one should transfer and when transfer can be beneficial. The latter question is related to the so-called negative transfer phenomenon, where the transferred source information actually reduces the generalization performance of the target task. This happens when the two tasks are sufficiently dissimilar. In this paper, we present a theoretical analysis of transfer learning by studying a pair of related perceptron learning tasks. Despite the simplicity of our model, it reproduces several key phenomena observed in practice. Specifically, our asymptotic analysis reveals a phase transition from negative transfer to positive transfer as the similarity of the two tasks moves past a well-defined threshold.
登录
查看更多内容
DOI：
10.1007/978-3-540-45167-9_41
发表时间：
2003-01-01
期刊：
LEARNING THEORY AND KERNEL MACHINES
影响因子：
--
作者：
Ben-David, S;Schuller, R
通讯作者：
Schuller, R
影响因子：
4.5
作者：
ANDERSEN, PK;GILL, RD
通讯作者：
GILL, RD
影响因子：
2.5
作者：
Debbah, M;Hachem, W;de Courville, M
通讯作者：
de Courville, M
影响因子：
8.9
作者：
Pan, Sinno Jialin;Yang, Qiang
通讯作者：
Yang, Qiang
影响因子：
6
作者：
Bakker, B;Heskes, T
通讯作者：
Heskes, T