Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation
Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation
复制标题
人类更喜欢有偏差的人工智能算法吗？
DOI：
10.1145/3490099.3511108
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Pan, Shimei
中科院分区：
文献类型：
--
作者：
Wang, Clarice;Wang, Kathryn;Bian, Andrew;Islam, Rashidul;Keya, Kamrun Naher;Foulds, James;Pan, Shimei
目前，人们对公平的人工智能（AI）和机器学习（ML）研究的兴趣激增，这些研究旨在减轻AI算法中的歧视性偏见，例如沿着性别，年龄和种族的路线。虽然这一领域的大多数研究都集中在开发公平的AI算法上，但在这项工作中，我们研究了人类-公平AI交互时出现的挑战。我们的研究结果表明，由于人类偏好和公平性之间存在明显的冲突，一个公平的人工智能算法本身可能不足以在真实的世界中实现其预期的结果。以高校专业推荐为例，采用去性别偏见的机器学习技术，构建了一个公平的人工智能推荐系统。我们的离线评估表明，去偏见推荐系统使更公平，更准确的大学专业推荐。然而，一项针对200多名大学生的在线用户研究显示，平均而言，参与者更喜欢原始的偏见系统，而不是去偏见系统。具体来说，我们发现，与大学专业相关的感知性别差异是接受推荐的决定因素。换句话说，我们的研究结果表明，如果不解决人类的性别偏见，我们就无法完全解决人工智能建议中的性别偏见问题。他们还强调，迫切需要扩大目前公平人工智能研究的范围，从狭隘地关注去偏见人工智能算法，到包括新的说服和偏见解释技术，以实现预期的社会影响。
Currently, there is a surge of interest in fair Artificial Intelligence (AI) and Machine Learning (ML) research which aims to mitigate discriminatory bias in AI algorithms, e.g. along lines of gender, age, and race. While most research in this domain focuses on developing fair AI algorithms, in this work, we examine the challenges which arise when human- fair-AI interact. Our results show that due to an apparent conflict between human preferences and fairness, a fair AI algorithm on its own may be insufficient to achieve its intended results in the real world. Using college major recommendation as a case study, we build a fair AI recommender by employing gender debiasing machine learning techniques. Our offline evaluation showed that the debiased recommender makes fairer and more accurate college major recommendations. Nevertheless, an online user study of more than 200 college students revealed that participants on average prefer the original biased system over the debiased system. Specifically, we found that the perceived gender disparity associated with a college major is a determining factor for the acceptance of a recommendation. In other words, our results demonstrate we cannot fully address the gender bias issue in AI recommendations without addressing the gender bias in humans. They also highlight the urgent need to extend the current scope of fair AI research from narrowly focusing on debiasing AI algorithms to including new persuasion and bias explanation technologies in order to achieve intended societal impacts.
登录
查看更多内容
MMPI 中的社会期望。
DOI：
--
发表时间：
1956
期刊：
Journal of Consulting Psychology
影响因子：
--
作者：
W. Fordyce
通讯作者：
W. Fordyce
数学成绩的性别差异：走向学术选择的模型。
DOI：
--
发表时间：
1982
期刊：
影响因子：
--
作者：
J. Meece;J. Parsons;Caroline M. Kaczala;Susan B. Goff
通讯作者：
Susan B. Goff
检测自动生成的角色中的人口统计偏差
DOI：
--
发表时间：
2019
期刊：
CHI Extended Abstracts
影响因子：
--
作者：
Joni O. Salminen;Soon;B. Jansen
通讯作者：
B. Jansen
职业选择中的性别刻板印象
DOI：
--
发表时间：
2004
期刊：
影响因子：
--
作者：
Ronald W. McQuaid;Sue Bond
通讯作者：
Sue Bond
信息呈现对机器学习预测的公平性感知的影响
DOI：
--
发表时间：
2021
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Niels van Berkel;Jorge Gonçalves;D. Russo;S. Hosio;M. Skov
通讯作者：
M. Skov