How Child Welfare Workers Reduce Racial Disparities in Algorithmic Decisions
How Child Welfare Workers Reduce Racial Disparities in Algorithmic Decisions
复制标题
儿童福利工作者如何减少算法决策中的种族差异
DOI：
10.1145/3491102.3501831
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Zhu, Haiyi
中科院分区：
文献类型：
--
作者：
Cheng, Hao-Fei;Stapleton, Logan;Kawakami, Anna;Sivaraman, Venkatesh;Cheng, Yanghuidi;Qing, Diana;Perer, Adam;Holstein, Kenneth;Wu, Zhiwei Steven;Zhu, Haiyi
机器学习工具已被部署在各种环境中以支持人类决策，希望人类算法协作可以提高决策质量。然而，这种合作是否会减少或加剧决策中的偏见的问题仍然没有得到充分的探讨。在这项工作中，我们进行了一项混合方法研究，分析了儿童福利呼叫筛选工作人员在四年内的决策，并采访了他们如何将算法预测纳入决策过程。我们的数据分析表明，与单独使用算法相比，工作人员将黑人和白色儿童之间的屏幕率差距从20%减少到9%。我们的定性数据表明，工人通过进行整体风险评估和调整算法的局限性来实现这一目标。我们的分析还显示了关于人类算法协作如何影响预测准确性以及如何衡量这些影响的更细微的结果。这些结果揭示了在高风险决策环境中改善人类算法协作的潜在机制。
Machine learning tools have been deployed in various contexts to support human decision-making, in the hope that human-algorithm collaboration can improve decision quality. However, the question of whether such collaborations reduce or exacerbate biases in decision-making remains underexplored. In this work, we conducted a mixed-methods study, analyzing child welfare call screen workers’ decision-making over a span of four years, and interviewing them on how they incorporate algorithmic predictions into their decision-making process. Our data analysis shows that, compared to the algorithm alone, workers reduced the disparity in screen-in rate between Black and white children from 20% to 9%. Our qualitative data show that workers achieved this by making holistic risk assessments and adjusting for the algorithm’s limitations. Our analyses also show more nuanced results about how human-algorithm collaboration affects prediction accuracy, and how to measure these effects. These results shed light on potential mechanisms for improving human-algorithm collaboration in high-risk decision-making contexts.
登录
查看更多内容
影响因子：
15.2
作者：
Patel, Bhavik N.;Rosenberg, Louis;Lungren, Matthew
通讯作者：
Lungren, Matthew
你所看到的就是你得到的？
DOI：
--
发表时间：
2019
期刊：
AAAI Conference on Human Computation & Crowdsourcing
影响因子：
--
作者：
Andi Peng;Besmira Nushi;Emre Kıcıman;K. Quinn;Siddharth Suri;Ece Kamar
通讯作者：
Ece Kamar
DOI：
10.48550/arxiv.2311.12582
发表时间：
2021
期刊：
ArXiv
影响因子：
--
作者：
Maria De;A. Dubrawski;A. Chouldechova
通讯作者：
A. Chouldechova
DOI：
10.2139/ssrn.3489440
发表时间：
2019
期刊：
Econometrics: Econometric & Statistical Methods - Special Topics eJournal
影响因子：
--
作者：
M. Stevenson;Jennifer L. Doleac
通讯作者：
Jennifer L. Doleac
国家犯罪和犯罪委员会
影响因子：
2
作者：
J. Brouillette;Katy Rivard;É. Lizotte;C. Fiset
通讯作者：
C. Fiset