Crowdsourcing Similarity Judgments for Agreement Analysis in End-User Elicitation Studies
Crowdsourcing Similarity Judgments for Agreement Analysis in End-User Elicitation Studies
复制标题
最终用户启发研究中协议分析的众包相似性判断
DOI：
10.1145/3242587.3242621
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Wobbrock, Jacob O.
中科院分区：
文献类型：
--
作者：
Ali, Abdullah X.;Morris, Meredith Ringel;Wobbrock, Jacob O.
最终用户启发研究是一种流行的设计方法，但他们的数据需要大量的时间和精力来分析。在本文中，我们介绍了Crowdsensus，这是一个群众驱动的工具，使研究人员能够使用主观的人类判断和自动聚类算法有效地分析启发式研究的结果。除了我们自己的分析之外，我们还请了六位具有运行和分析启发研究经验的专家研究人员来分析一个最终用户启发数据集，该数据集包含10个操作web浏览器的功能，每个功能包含43个从最终用户处引出的语音命令，总共有430个语音命令。我们使用Crowdsensus收集了410名在线众筹工作者对这430个相同命令的相似性判断。通过对8个函数中的7个函数得出相同的结果，以及解决专家意见不一致的函数，大众的表现优于专家。此外，使用Crowdsensus的速度比使用专家快4倍。
End-user elicitation studies are a popular design method, but their data require substantial time and effort to analyze. In this paper, we present Crowdsensus, a crowd-powered tool that enables researchers to efficiently analyze the results of elicitation studies using subjective human judgment and automatic clustering algorithms. In addition to our own analysis, we asked six expert researchers with experience running and analyzing elicitation studies to analyze an end-user elicitation dataset of 10 functions for operating a web-browser, each with 43 voice commands elicited from end-users for a total of 430 voice commands. We used Crowdsensus to gather similarity judgments of these same 430 commands from 410 online crowd workers. The crowd outperformed the experts by arriving at the same results for seven of eight functions and resolving a function where the experts failed to agree. Also, using Crowdsensus was about four times faster than using experts.
登录
查看更多内容
用户定义的基于眼动的虚拟现实交互
DOI：
--
发表时间：
2018
期刊：
Interacción
影响因子：
--
作者：
Wen;Kai;Hao Li;Hu Zhou
通讯作者：
Hu Zhou
DOI：
--
发表时间：
2011-05
期刊：
--
影响因子：
--
作者：
Omer Tamuz;Ce Liu;Serge J. Belongie;Ohad Shamir;A. Kalai
通讯作者：
Omer Tamuz;Ce Liu;Serge J. Belongie;Ohad Shamir;A. Kalai
与大众一起进行负责任的研究
影响因子：
22.7
作者：
M. S. Silberman;Bill Tomlinson;R. LaPlante;J. Ross;L. Irani;Andrew Zaldivar
通讯作者：
Andrew Zaldivar
构建用户衍生的界面
DOI：
--
发表时间：
1984
期刊：
CACM
影响因子：
--
作者：
M. Good;J. Whiteside;Dennis R. Wixon;Sandra J. Jones
通讯作者：
Sandra J. Jones
DOI：
--
发表时间：
2008
期刊：
2008 IEEE Congress on Evolutionary Computation (IEEE World Congress on Computational Intelligence)
影响因子：
--
作者：
Zhenya Zhang;Hongmei Cheng;Wanli Chen;Shuguan Zhang;Qiansheng Fang
通讯作者：
Qiansheng Fang