Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support
Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support
复制标题
改善儿童福利领域的人机合作关系：了解工人的实践、挑战和对算法决策支持的渴望
DOI：
10.1145/3491102.3517439
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Holstein, Kenneth
中科院分区：
文献类型：
--
作者：
Kawakami, Anna;Sivaraman, Venkatesh;Cheng, Hao-Fei;Stapleton, Logan;Cheng, Yanghuidi;Qing, Diana;Perer, Adam;Wu, Zhiwei Steven;Zhu, Haiyi;Holstein, Kenneth
基于人工智能的决策支持工具（ADS）越来越多地用于在高风险的社会环境中增强人类决策。随着公共部门机构开始采用ADS，我们了解工人在实践中使用这些系统的经验至关重要。在本文中，我们介绍了儿童福利机构的一系列访谈和背景调查的结果，以了解他们目前如何做出人工智能辅助的儿童虐待筛查决策。总的来说，我们观察到工人对ADS的依赖如何受到以下因素的指导：（1）他们对AI模型捕捉之外的丰富上下文信息的了解，（2）他们对ADS相对于自己的能力和局限性的信念，（3）围绕ADS使用的组织压力和激励，以及（4）算法预测与他们自己的决策目标之间不一致的意识。根据这些发现，我们讨论了支持更有效的人类-AI决策的设计意义。
AI-based decision support tools (ADS) are increasingly used to augment human decision-making in high-stakes, social contexts. As public sector agencies begin to adopt ADS, it is critical that we understand workers’ experiences with these systems in practice. In this paper, we present findings from a series of interviews and contextual inquiries at a child welfare agency, to understand how they currently make AI-assisted child maltreatment screening decisions. Overall, we observe how workers’ reliance upon the ADS is guided by (1) their knowledge of rich, contextual information beyond what the AI model captures, (2) their beliefs about the ADS’s capabilities and limitations relative to their own, (3) organizational pressures and incentives around the use of the ADS, and (4) awareness of misalignments between algorithmic predictions and their own decision-making objectives. Drawing upon these findings, we discuss design implications towards supporting more effective human-AI decision-making.
登录
查看更多内容
影响因子：
15.2
作者：
Patel, Bhavik N.;Rosenberg, Louis;Lungren, Matthew
通讯作者：
Lungren, Matthew
DOI：
10.48550/arxiv.2311.12582
发表时间：
2021
期刊：
ArXiv
影响因子：
--
作者：
Maria De;A. Dubrawski;A. Chouldechova
通讯作者：
A. Chouldechova
迈向共同创造人工智能体验的流程模型
DOI：
10.1145/3461778.3462012
发表时间：
2021
期刊：
Proceedings of the 2021 ACM Designing Interactive Systems Conference
影响因子：
--
作者：
Hariharan Subramonyam;C. Seifert;Eytan Adar
通讯作者：
Eytan Adar
Sibyl：理解和解决机器学习在高风险决策中的可用性挑战
影响因子：
5.2
作者：
Alexandra Zytek;Dongyu Liu;R. Vaithianathan;K. Veeramachaneni
通讯作者：
K. Veeramachaneni
对美国儿童福利系统中使用的算法进行以人为本的审查
DOI：
--
发表时间：
2020
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Devansh Saxena;Karla A. Badillo;P. Wisniewski;Shion Guha
通讯作者：
Shion Guha