A Statistical Test for Probabilistic Fairness
A Statistical Test for Probabilistic Fairness
复制标题
概率公平性的统计检验
DOI：
10.1145/3442188.3445927
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Nguyen, Viet Anh
中科院分区：
文献类型：
--
作者：
Taskesen, Bahar;Blanchet, Jose;Kuhn, Daniel;Nguyen, Viet Anh
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学，医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息，但它们可能会无意中放大现有数据集中的现有偏见。这一担忧引发了人们对公平机器学习的兴趣，公平机器学习旨在量化和减轻算法歧视。事实上，机器学习模型应该在大规模部署之前进行密集测试，以检测算法偏差。在本文中，我们使用最优传输理论的思想，提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状，测试统计量量化了测试样本上支持的经验分布与使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制，用于评估任何预先训练的逻辑分类器的概率公平性，我们在理论上和经验上都表明，所提出的测试是渐进正确的。此外，所提出的框架提供了可解释性，通过识别数据的最有利的扰动，使给定的分类器变得公平。
Algorithms are now routinely used to make consequential decisions that affect human lives. Examples include college admissions, medical interventions or law enforcement. While algorithms empower us to harness all information hidden in vast amounts of data, they may inadvertently amplify existing biases in the available datasets. This concern has sparked increasing interest in fair machine learning, which aims to quantify and mitigate algorithmic discrimination. Indeed, machine learning models should undergo intensive tests to detect algorithmic biases before being deployed at scale. In this paper, we use ideas from the theory of optimal transport to propose a statistical hypothesis test for detecting unfair classifiers. Leveraging the geometry of the feature space, the test statistic quantifies the distance of the empirical distribution supported on the test samples to the manifold of distributions that render a pre-trained classifier fair. We develop a rigorous hypothesis testing mechanism for assessing the probabilistic fairness of any pre-trained logistic classifier, and we show both theoretically as well as empirically that the proposed test is asymptotically correct. In addition, the proposed framework offers interpretability by identifying the most favorable perturbation of the data so that the given classifier becomes fair.
登录
查看更多内容
DOI：
10.1016/j.orl.2018.01.011
发表时间：
2018-03
期刊：
Oper. Res. Lett.
影响因子：
--
作者：
Chaoyue Zhao;Yongpei Guan
通讯作者：
Chaoyue Zhao;Yongpei Guan
影响因子：
1
作者：
Blanchet, Jose;Kang, Yang;Murthy, Karthyek
通讯作者：
Murthy, Karthyek
影响因子：
6.8
作者：
Fazlyab, Mahyar;Morari, Manfred;Pappas, George J.
通讯作者：
Pappas, George J.
DOI：
--
发表时间：
2019-06
期刊：
--
影响因子：
--
作者：
M. Yurochkin;Amanda Bower;Yuekai Sun
通讯作者：
M. Yurochkin;Amanda Bower;Yuekai Sun
影响因子：
4.5
作者：
X. Nguyen
通讯作者：
X. Nguyen