Keeping Community in the Loop: Understanding Wikipedia Stakeholder Values for Machine Learning-Based Systems
Keeping Community in the Loop: Understanding Wikipedia Stakeholder Values for Machine Learning-Based Systems
复制标题
让社区了解情况：了解维基百科利益相关者对基于机器学习的系统的价值观
DOI：
10.1145/3313831.3376783
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Zhu, Haiyi
中科院分区：
文献类型：
--
作者：
Smith, C. Estelle;Yu, Bowen;Srivastava, Anjali;Halfaker, Aaron;Terveen, Loren;Zhu, Haiyi
在维基百科上，复杂的算法工具被用来评估编辑的质量并采取纠正措施。然而，如果算法与使用它们的社区的价值观相冲突，它们可能无法解决它们设计的问题。在这项研究中，我们采用了一种价值敏感的算法设计方法来理解一种由社区创建和维护的基于机器学习的算法，称为客观修订评估系统（ORES）--一种用于众多维基百科应用程序和上下文的质量预测系统。ORES（及其依赖的应用程序）应该在利益相关者群体中汇聚五个主要价值观：（1）减少社区维护的工作，（2）保持人类判断作为最终权威，（3）支持不同人的不同工作流程，（4）鼓励与不同的编辑团体积极参与，以及（5）在社区内建立人和算法的可信度。我们揭示了这些值之间的紧张关系，并讨论了未来的研究，以改善算法，如ORES的影响。
On Wikipedia, sophisticated algorithmic tools are used to assess the quality of edits and take corrective actions. However, algorithms can fail to solve the problems they were designed for if they conflict with the values of communities who use them. In this study, we take a Value-Sensitive Algorithm Design approach to understanding a community-created and -maintained machine learning-based algorithm called the Objective Revision Evaluation System (ORES)---a quality prediction system used in numerous Wikipedia applications and contexts. Five major values converged across stakeholder groups that ORES (and its dependent applications) should: (1) reduce the effort of community maintenance, (2) maintain human judgement as the final authority, (3) support differing peoples' differing workflows, (4) encourage positive engagement with diverse editor groups, and (5) establish trustworthiness of people and algorithms within the community. We reveal tensions between these values and discuss implications for future research to improve algorithms like ORES.
登录
查看更多内容
以人为本的算法服务：向非营利组织分配捐款的公平和激励智能社区服务管理的考虑
DOI：
10.1145/3025453.3025884
发表时间：
2017
期刊：
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Lee, Min Kyung;Kim, Ji Tae;Lizarondo, Leah
通讯作者：
Lizarondo, Leah
DOI：
--
发表时间：
2018-11
期刊：
arXiv: Applications
影响因子：
--
作者：
Shira Mitchell;E. Potash;Solon Barocas
通讯作者：
Shira Mitchell;E. Potash;Solon Barocas
ORES：促进维基百科社会技术问题的修复
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Aaron L Halfaker;R. Geiger
通讯作者：
R. Geiger
维基百科中自动化软件代理之间的冲突与合作的运作
DOI：
--
发表时间：
2017
期刊：
Proc. ACM Hum. Comput. Interact.
影响因子：
--
作者：
R. Geiger;Aaron L Halfaker
通讯作者：
Aaron L Halfaker
机器人和机器人：维基百科的免疫系统
影响因子：
2.2
作者：
Aaron L Halfaker;J. Riedl
通讯作者：
J. Riedl