A Robust Classifier under Missing-Not-at-Random Sample Selection Bias
A Robust Classifier under Missing-Not-at-Random Sample Selection Bias
复制标题
缺失非随机样本选择偏差下的鲁棒分类器
DOI：
10.1109/bigdata59044.2023.10386877
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Wu, Xintao
中科院分区：
文献类型：
--
作者：
Mai, Huy;Huang, Wen;Du, Wei;Wu, Xintao
训练和测试分布之间的转变通常是由于样本选择偏差造成的，这是一种由对训练集中包含的示例进行非随机采样引起的偏差。尽管提出了许多在样本选择偏差下学习分类器的方法，但很少有人解决训练集中标签子集由于选择过程而非随机丢失（MNAR）的情况。在统计学中，格林方法以逻辑回归作为预测模型来制定这种类型的样本选择。然而，我们发现简单地将这种方法集成到鲁棒的分类框架中对于这种偏差设置并不有效。在本文中，我们提出了 BiasCorr，一种通过修改原始训练集改进 Greene 方法的算法，以便分类器在 MNAR 样本选择偏差下学习。通过分析BiasCorr的偏差，我们为BiasCorr相对Greene方法的改进提供了理论保证。真实世界数据集上的实验结果表明，BiasCorr 可以生成稳健的分类器，并且可以扩展到超越已提议在样本选择偏差下进行训练的最先进的分类器。
The shift between the training and testing distributions is commonly due to sample selection bias, a type of bias caused by non-random sampling of examples to be included in the training set. Although there are many approaches proposed to learn a classifier under sample selection bias, few address the case where a subset of labels in the training set are missing-not-at-random (MNAR) as a result of the selection process. In statistics, Greene’s method formulates this type of sample selection with logistic regression as the prediction model. However, we find that simply integrating this method into a robust classification framework is not effective for this bias setting. In this paper, we propose BiasCorr, an algorithm that improves on Greene’s method by modifying the original training set in order for a classifier to learn under MNAR sample selection bias. We provide theoretical guarantee for the improvement of BiasCorr over Greene’s method by analyzing its bias. Experimental results on real-world datasets demonstrate that BiasCorr produces robust classifiers and can be extended to outperform state-of-the-art classifiers that have been proposed to train under sample selection bias.
登录
查看更多内容
影响因子：
0.8
作者：
Lung-fei Lee
通讯作者：
Lung-fei Lee
样本选择偏差下的公平回归
DOI：
10.1109/bigdata55660.2022.10021107
发表时间：
2022
期刊：
2022 IEEE International Conference on Big Data (Big Data
影响因子：
--
作者：
Du, Wei;Wu, Xintao;Tong, Hanghang
通讯作者：
Tong, Hanghang
具有内生切换的参数非线性回归
DOI：
--
发表时间：
2009
期刊：
影响因子：
--
作者：
J. Terza
通讯作者：
J. Terza
关于半监督学习中的非随机缺失标签
DOI：
--
发表时间：
2022
期刊：
International Conference on Learning Representations
影响因子：
--
作者：
Xinting Hu;Yulei Niu;C. Miao;Xiansheng Hua;Hanwang Zhang
通讯作者：
Hanwang Zhang
样本选择偏差下的公平稳健分类
DOI：
10.1145/3459637.3482104
发表时间：
2021
期刊：
30th ACM International Conference on Information & Knowledge Management
影响因子：
--
作者：
Du, Wei;Wu, Xintao
通讯作者：
Wu, Xintao