From Soft Classifiers to Hard Decisions: How fair can we be?
From Soft Classifiers to Hard Decisions: How fair can we be?
复制标题
从软分类器到硬决策：我们能做到多公平？
DOI：
10.1145/3287560.3287561
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Smith, Adam
中科院分区：
文献类型：
--
作者：
Canetti, Ran;Cohen, Aloni;Dikkala, Nishanth;Ramnarayan, Govind;Scheffler, Sarah;Smith, Adam
在不完美信息存在的情况下构建二元决策分类器的流行方法是首先构建校准的非二元“评分”分类器，然后对该评分进行后处理以获得二元决策。我们研究了这种方法的各种公平性（或错误平衡）属性，当非二进制分数在所有受保护的组进行校准，并与各种后处理算法。具体来说，我们表明：首先，不存在一种通用的方法来后处理校准的分类器，以均衡保护组的阳性或阴性预测值（PPV或NPV）。对于某些“好”的校准分类器，当后处理器跨保护组使用不同阈值时，PPV或NPV可以被均衡。尽管如此，当后处理由跨所有组的单个全局阈值组成时，自然公平性（例如以非平凡的方式均衡PPV）甚至对于“好”分类器也不成立。（也就是说，通过将一些示例移交给单独的过程来避免做出决策），那么对于非延迟决策，可以使得到的分类器在受保护组之间均衡PPV、NPV、假阳性率（FPR）和假阴性率（FNR）。这表明了一种方法，以部分回避Chouldechova和Kleinberg等人的不可能性结果，这妨碍了同时均衡所有这些措施。我们还提出了不同的延迟策略，并展示了它们如何影响整个系统的公平性。我们使用2016年的COMPAS数据集评估了我们的后处理技术。
A popular methodology for building binary decision-making classifiers in the presence of imperfect information is to first construct a calibrated non-binary "scoring" classifier, and then to post-process this score to obtain a binary decision. We study various fairness (or, error-balance) properties of this methodology, when the non-binary scores are calibrated over all protected groups, and with a variety of post-processing algorithms. Specifically, we show:First, there does not exist a general way to post-process a calibrated classifier to equalize protected groups' positive or negative predictive value (PPV or NPV). For certain "nice" calibrated classifiers, either PPV or NPV can be equalized when the post-processor uses different thresholds across protected groups. Still, when the post-processing consists of a single global threshold across all groups, natural fairness properties, such as equalizing PPV in a nontrivial way, do not hold even for "nice" classifiers.Second, when the post-processing stage is allowed to defer on some decisions (that is, to avoid making a decision by handing off some examples to a separate process), then for the non-deferred decisions, the resulting classifier can be made to equalize PPV, NPV, false positive rate (FPR) and false negative rate (FNR) across the protected groups. This suggests a way to partially evade the impossibility results of Chouldechova and Kleinberg et al., which preclude equalizing all of these measures simultaneously. We also present different deferring strategies and show how they affect the fairness properties of the overall system.We evaluate our post-processing techniques using the COMPAS data set from 2016.
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
Theory of Cryptography Conference
影响因子：
--
作者：
Andrew, Morgan
通讯作者：
Andrew, Morgan
构图下的公平性
DOI：
--
发表时间：
2019
期刊：
10th Innovations in Theoretical Computer Science Conference (ITCS 2019
影响因子：
--
作者：
Dwork, C;Ilvento, C
通讯作者：
Ilvento, C
公平计算机辅助决策中的悖论
DOI：
--
发表时间：
2017
期刊：
AAAI/ACM Conference on AI, Ethics, and Society
影响因子：
--
作者：
Andrew Morgan;R. Pass
通讯作者：
R. Pass
DOI：
10.1038/362400b0
发表时间：
2017
期刊：
ArXiv
影响因子：
--
作者：
Úrsula Hébert;Michael P. Kim;Omer Reingold;G. Rothblum
通讯作者：
G. Rothblum