Context-aware result inference in crowdsourcing
Context-aware result inference in crowdsourcing
复制标题
众包中的上下文感知结果推断
DOI：
10.1016/j.ins.2018.05.050
复制
发表时间：
2018-09
期刊：
影响因子：
--
通讯作者：
Huai Jingpeng
中科院分区：
文献类型：
--
作者：
Fang Yili;Sun Hailong;Li Guoliang;Zhang Richong;Huai Jingpeng
许多结果推理方法已经被提出来解决众包中的质量控制问题。然而，现有的方法是无效的上下文敏感的任务（CST），例如，手写识别，翻译，语音转录，其中任务内的上下文相关性不能被忽略的原因有两个。首先，众包整个CST（例如，识别手写文本）并使用任务级推理方法来推断答案是无效的，因为很难正确完成整个复杂的任务。其次，虽然CST是由一组原子子任务（例如，识别手写单词）组成的，但将其拆分为多个子任务并采用子任务级推理算法来推断结果是不合适的，因为这将失去子任务之间的上下文相关性（例如，短语），并增加完成任务的难度。因此，需要采取新的办法来处理CST。在这项工作中，我们研究的结果推理问题的CST，并提出了一个上下文感知的推理算法。我们设计了一个推理算法，结合上下文信息。此外，我们引入了一种迭代方法来提高质量。在真实世界的CST上的实验结果表明，我们的方法相比，国家的最先进的方法的优越性。
Many result inference methods have been proposed to address the quality-control problem in crowdsourcing. However, existing methods are ineffective for context-sensitive tasks (CSTs), eg, handwriting recognition, translation, speech transcription, where context correlation within a task cannot be ignored for two reasons. Firstly, it is ineffective to crowdsource a whole CST (eg, recognizing handwritten texts) and use task-level inference methods to infer the answer, because it is rather hard to correctly complete a whole complicated task. Secondly, although a CST is composed of a set of atomic subtasks (eg, recognizing a handwritten word), it is unsuitable to split it into multiple subtasks and adopt a subtask-level inference algorithm to infer the result, because this will lose the context correlation (eg, phrases) among subtasks and increase the difficulty to complete a task. Thus it calls for a new approach to handling CSTs. In this work, we study the result inference problem for CSTs and propose a context-aware inference algorithm. We design an inference algorithm by incorporating the context information. Furthermore, we introduce an iterative method to improve the quality. The results of experiments on real-world CSTs demonstrated the superiority of our approach compared with the state-of-the-art methods.
登录
查看更多内容
DOI：
10.1109/slt.2010.5700870
发表时间：
2010-12
期刊：
2010 IEEE Spoken Language Technology Workshop
影响因子：
--
作者：
Gabriel Parent;M. Eskénazi
通讯作者：
Gabriel Parent;M. Eskénazi
影响因子：
14.4
作者：
Dai, Peng;Lin, Christopher H.;Weld, Daniel S.
通讯作者：
Weld, Daniel S.
DOI：
10.1145/2470654.2470769
发表时间：
2013-04
期刊：
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Kate Starbird
通讯作者：
Kate Starbird
DOI：
--
发表时间：
2009
期刊：
--
影响因子：
--
作者：
Mark Dredze;P. Talukdar;K. Crammer
通讯作者：
Mark Dredze;P. Talukdar;K. Crammer
DOI：
10.1109/vetecs.2004.1391402
发表时间：
2004-05
期刊：
2004 IEEE 59th Vehicular Technology Conference. VTC 2004-Spring (IEEE Cat. No.04CH37514)
影响因子：
--
作者：
T. Gu;H. Pung;Da Qing Zhang
通讯作者：
T. Gu;H. Pung;Da Qing Zhang