Majority Voting and Pairing with Multiple Noisy Labeling
Majority Voting and Pairing with Multiple Noisy Labeling
复制标题
多数投票并与多个噪声标签配对
DOI：
10.1109/tkde.2017.2659740
复制
发表时间：
2019-07
影响因子：
8.9
通讯作者：
Xindong Wu
中科院分区：
文献类型：
--
作者：
Victor S. Sheng;Jing Zhang（张静）;Bin Gu;Xindong Wu
随着小任务的众包变得更容易，以低成本获得非专家/不完美的标签是可能的。使用低成本的不完美标签，可以直接为相同的数据项收集多个标签。基于多数投票和配对这两个基本思想，本文提出了利用这些多标签进行监督学习的策略。基于我们的实验，我们展示了几个有趣的结果。(I)基于多数表决思想的战略在确定性水平较高的情况下运作良好。(2)相反，在确定性水平较低的情况下，配对策略更可取。(3)在多数投票策略中，软多数投票可以减少偏见和粗糙度，表现优于多数投票。(Iv)配对可以通过考虑双方(可能是正确的和错误的/有噪声的信息)来完全避免偏差。贝塔估计用于降低配对过程中噪声的影响。我们的实验结果表明，在不同的置信度水平下，与Beta估计配对总是表现得很好。(V)所有被调查的策略都将质量不可知性策略标记为适用于现实世界的应用程序，其中一些策略的表现优于或至少非常接近诺知性策略。
With the crowdsourcing of small tasks becoming easier, it is possible to obtain non-expert/imperfect labels at low cost. With low-cost imperfect labeling, it is straightforward to collect multiple labels for the same data items. This paper proposes strategies of utilizing these multiple labels for supervised learning, based on two basic ideas: majority voting and pairing. We show several interesting results based on our experiments. (i) The strategies based on the majority voting idea work well under the situation where the certainty level is high. (ii) On the contrary, the pairing strategies are more preferable under the situation where the certainty level is low. (iii) Among the majority voting strategies, soft majority voting can reduce the bias and roughness, and perform better than majority voting. (iv) Pairing can completely avoid the bias by having both sides (potentially correct and incorrect/noisy information) considered. Beta estimation is applied to reduce the impact of the noise in pairing. Our experimental results show that pairing with Beta estimation always performs well under different certainty levels. (v) All strategies investigated are labeling quality agnostic strategies for real-world applications, and some of them perform better than or at least very close to the gnostic strategies.
登录
查看更多内容
DOI：
--
发表时间：
2002-12
期刊：
ArXiv
影响因子：
--
作者：
Peter D. Turney
通讯作者：
Peter D. Turney
DOI：
10.1609/aaai.v26i1.8105
发表时间：
2012-07
期刊：
Proceedings of the AAAI Conference on Artificial Intelligence
影响因子：
--
作者：
Hiroshi Kajino;Yuta Tsuboi;H. Kashima
通讯作者：
Hiroshi Kajino;Yuta Tsuboi;H. Kashima
DOI：
10.1198/tas.2003.s212
发表时间：
2003-02
期刊：
The American Statistician
影响因子：
--
作者：
R. D. Cook;S. Weisberg
通讯作者：
R. D. Cook;S. Weisberg
影响因子：
2.5
作者：
E. Ziegel
通讯作者：
E. Ziegel
DOI：
10.1109/icde.2016.7498229
发表时间：
2016-05
期刊：
2016 IEEE 32nd International Conference on Data Engineering (ICDE)
影响因子：
--
作者：
Huiqi Hu;Yudian Zheng;Z. Bao;Guoliang Li;Jianhua Feng;Reynold Cheng
通讯作者：
Huiqi Hu;Yudian Zheng;Z. Bao;Guoliang Li;Jianhua Feng;Reynold Cheng