Human Comprehension of Fairness in Machine Learning
Human Comprehension of Fairness in Machine Learning
复制标题
人类对机器学习公平性的理解
DOI：
10.1145/3375627.3375819
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Tschantz, Michael Carl
中科院分区：
文献类型：
--
作者：
Saha, Debjani;Schumann, Candice;McElfresh, Duncan C.;Dickerson, John P.;Mazurek, Michelle L.;Tschantz, Michael Carl
机器学习中的偏见在几个领域表现出了不公正，其中值得注意的例子包括与工作相关的广告中的性别偏见[4]，评估简历上的名字时的种族偏见[3]，以及预测犯罪累犯时的种族偏见[1]。作为回应，在过去的几年里，对算法公平性的研究在重要性和数量上都有所增长。已经提出了不同的算法公平性度量和方法，其中许多是基于先前的法律的和哲学概念[2]。这一领域的迅速扩大使专业人员难以跟上，更不用说普通大众了。此外，关于公平概念的错误信息可能会产生重大的法律的影响。计算机科学家主要专注于开发公平的数学概念，并将其纳入现场ML系统。一个小得多的研究集合测量了公众对算法决策中的偏见和（不）公平的看法。然而，ML公平性研究的一个主要问题在文献中仍然没有得到回答：公众是否理解ML公平性的数学定义及其在ML应用中的行为？我们通过研究非专家对ML公平性的一个流行定义的理解和看法来回答这个问题，人口均等[5]。具体来说，我们开发了一个在线调查，以解决以下问题：（1）非技术观众理解人口均等的定义和含义？(2)人口统计学在理解中发挥作用吗？(3)理解和情感是如何联系在一起的？(4)应用场景是否影响理解？
Bias in machine learning has manifested injustice in several areas, with notable examples including gender bias in job-related ads [4], racial bias in evaluating names on resumes [3], and racial bias in predicting criminal recidivism [1]. In response, research into algorithmic fairness has grown in both importance and volume over the past few years. Different metrics and approaches to algorithmic fairness have been proposed, many of which are based on prior legal and philosophical concepts [2]. The rapid expansion of this field makes it difficult for professionals to keep up, let alone the general public. Furthermore, misinformation about notions of fairness can have significant legal implications.Computer scientists have largely focused on developing mathematical notions of fairness and incorporating them in fielded ML systems. A much smaller collection of studies has measured public perception of bias and (un)fairness in algorithmic decision-making. However, one major question underlying the study of ML fairness remains unanswered in the literature: Does the general public understand mathematical definitions of ML fairness and their behavior in ML applications? We take a first step towards answering this question by studying non-expert comprehension and perceptions of one popular definition of ML fairness, demographic parity [5]. Specifically, we developed an online survey to address the following: (1) Does a non-technical audience comprehend the definition and implications of demographic parity? (2) Do demographics play a role in comprehension? (3) How are comprehension and sentiment related? (4) Does the application scenario affect comprehension?
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Allison Woodruff;Sarah E. Fox;Steven Rousso;J. Warshaw
通讯作者：
J. Warshaw
影响因子：
6.8
作者：
AKAIKE, H
通讯作者：
AKAIKE, H
DOI：
--
发表时间：
2017
期刊：
USENIX Security Symposium
影响因子：
--
作者：
Angelisa C. Plane;Elissa M. Redmiles;Michelle L. Mazurek;Michael Carl Tschantz
通讯作者：
Michael Carl Tschantz
机器学习的公平性：政治哲学的教训
DOI：
--
发表时间：
2017
期刊：
FAT
影响因子：
--
作者：
Reuben Binns
通讯作者：
Reuben Binns
符合公共利益的心理科学帮助医生和患者了解健康统计数据
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
D. Conway;A. McMahon;Katrina M. Smith;John C. Taylor;P. McKinney
通讯作者：
P. McKinney