Keeping Designers in the Loop: Communicating Inherent Algorithmic Trade-offs Across Multiple Objectives
Keeping Designers in the Loop: Communicating Inherent Algorithmic Trade-offs Across Multiple Objectives
复制标题
让设计师了解情况：沟通跨多个目标的固有算法权衡
DOI：
10.1145/3357236.3395528
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Zhu, Haiyi
中科院分区：
文献类型：
--
作者：
Yu, Bowen;Yuan, Ye;Terveen, Loren;Wu, Zhiwei Steven;Forlizzi, Jodi;Zhu, Haiyi
人工智能算法已被用来增强各种产品和服务，包括在高风险环境下协助人类决策。然而，这些算法很复杂并且需要权衡，特别是在预测准确性和对群体子组的公平性之间。这使得设计人员很难理解算法并以尊重用户的目标、价值观和需求的方式设计产品或服务。我们提出了一种方法来帮助设计者和用户探索算法，可视化他们的权衡，并选择权衡符合他们的目标和需求的算法。我们通过 (i) 大规模 Amazon Mechanical Turk 实验和 (ii) 与领域专家的深入访谈，评估了我们在预测刑事被告再次犯罪可能性问题上的方法。我们的评估表明，我们的方法可以帮助这些系统的设计者和用户更好地理解和导航算法权衡。本文提供了一种新方法，使设计人员能够理解和控制他们正在创建的算法系统的结果。
Artificial intelligence algorithms have been used to enhance a wide variety of products and services, including assisting human decision making in high-stake contexts. However, these algorithms are complex and have trade-offs, notably between prediction accuracy and fairness to population subgroups. This makes it hard for designers to understand algorithms and design products or services in a way that respects users' goals, values, and needs. We proposed a method to help designers and users explore algorithms, visualize their trade-offs, and select algorithms with trade-offs consistent with their goals and needs. We evaluated our method on the problem of predicting criminal defendants' likelihood to re-offend through (i) a large-scale Amazon Mechanical Turk experiment, and (ii) in-depth interviews with domain experts. Our evaluations show that our method can help designers and users of these systems better understand and navigate algorithmic trade-offs. This paper contributes a new way of providing designers the ability to understand and control the outcomes of algorithmic systems they are creating.
登录
查看更多内容
影响因子：
3.8
作者：
Eric S. Chung;Jason I. Hong;James Lin;Madhu K. Prabaker;J. Landay;Alan L. Liu
通讯作者：
Alan L. Liu
DOI：
10.1145/3274566
发表时间：
2018-10
期刊：
Interactions
影响因子：
--
作者：
Philip van Allen
通讯作者：
Philip van Allen
影响因子：
7
作者：
Meade, Adam W.;Craig, S. Bartholomew
通讯作者：
Craig, S. Bartholomew
快速情境设计：以用户为中心的设计关键技术的操作指南
DOI：
10.1145/1066322.1066325
发表时间：
2004
期刊：
Ubiquity
影响因子：
--
作者：
K. Holtzblatt;J. Wendell;Shelley Wood
通讯作者：
Shelley Wood
DOI：
10.1145/3196709.3196730
发表时间：
2018-06
期刊：
Proceedings of the 2018 Designing Interactive Systems Conference
影响因子：
--
作者：
Qian Yang;Alex Sciuto;J. Zimmerman;J. Forlizzi;Aaron Steinfeld
通讯作者：
Qian Yang;Alex Sciuto;J. Zimmerman;J. Forlizzi;Aaron Steinfeld