Wikipedia ORES Explorer: Visualizing Trade-offs For Designing Applications With Machine Learning API
Wikipedia ORES Explorer: Visualizing Trade-offs For Designing Applications With Machine Learning API
复制标题
维基百科 ORES Explorer：使用机器学习 API 可视化设计应用程序的权衡
DOI：
10.1145/3461778.3462099
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Zhu, Haiyi
中科院分区：
文献类型：
--
作者：
Ye, Zining;Yuan, Xinran;Gaur, Shaurya;Halfaker, Aaron;Forlizzi, Jodi;Zhu, Haiyi
随着人工智能（AI）系统的行业应用越来越多，预先训练的模型和API已经出现，并大大降低了构建AI驱动产品的门槛。然而，新手AI应用程序设计人员在做出明智的设计决策之前，往往很难认识到固有的算法权衡并评估模型的公平性。在这项研究中，我们研究了客观修订评估系统（ORES），这是维基百科中的一个机器学习（ML）API，社区使用它来构建反破坏工具。我们设计了一个交互式的可视化系统，沟通模型阈值的权衡和公平的ORES。我们通过与潜在的ORES应用程序设计人员进行10次深入访谈来评估我们的系统。我们发现，我们的系统可以帮助ML背景有限的应用程序设计人员了解上下文ML知识，认识到固有的价值权衡，并做出与其目标一致的设计决策。通过在现实世界的领域中展示我们的系统，本文提出了一种新的可视化方法，以促进更大的可访问性和人工智能应用程序设计中的代理。
With the growing industry applications of Artificial Intelligence (AI) systems, pre-trained models and APIs have emerged and greatly lowered the barrier of building AI-powered products. However, novice AI application designers often struggle to recognize the inherent algorithmic trade-offs and evaluate model fairness before making informed design decisions. In this study, we examined the Objective Revision Evaluation System (ORES), a machine learning (ML) API in Wikipedia used by the community to build anti-vandalism tools. We designed an interactive visualization system to communicate model threshold trade-offs and fairness in ORES. We evaluated our system by conducting 10 in-depth interviews with potential ORES application designers. We found that our system helped application designers who have limited ML backgrounds learn about in-context ML knowledge, recognize inherent value trade-offs, and make design decisions that aligned with their goals. By demonstrating our system in a real-world domain, this paper presents a novel visualization approach to facilitate greater accessibility and human agency in AI application design.
登录
查看更多内容
影响因子：
0.9
作者：
Amershi, Saleema;Cakmak, Maya;Kulesza, Todd
通讯作者：
Kulesza, Todd
DOI：
10.1145/3196709.3196730
发表时间：
2018-06
期刊：
Proceedings of the 2018 Designing Interactive Systems Conference
影响因子：
--
作者：
Qian Yang;Alex Sciuto;J. Zimmerman;J. Forlizzi;Aaron Steinfeld
通讯作者：
Qian Yang;Alex Sciuto;J. Zimmerman;J. Forlizzi;Aaron Steinfeld
让社区了解情况：了解维基百科利益相关者对基于机器学习的系统的价值观
DOI：
10.1145/3313831.3376783
发表时间：
2020
期刊：
Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Smith, C. Estelle;Yu, Bowen;Srivastava, Anjali;Halfaker, Aaron;Terveen, Loren;Zhu, Haiyi
通讯作者：
Zhu, Haiyi
算法标记对公平性的影响：来自维基百科的准实验证据
DOI：
--
发表时间：
2020
期刊：
arXiv.org
影响因子：
--
作者：
Nathan TeBlunthuis;Benjamin Mako Hill;Aaron L Halfaker
通讯作者：
Aaron L Halfaker
机器学习作为用户体验设计材料：除了自动化、推荐器和提醒之外，我们还能如何想象？
DOI：
--
发表时间：
2018
期刊：
AAAI Spring Symposia
影响因子：
--
作者：
Qian Yang
通讯作者：
Qian Yang