Toward User-Driven Algorithm Auditing: Investigating users’ strategies for uncovering harmful algorithmic behavior
Toward User-Driven Algorithm Auditing: Investigating users’ strategies for uncovering harmful algorithmic behavior
复制标题
迈向用户驱动的算法审计：调查用户发现有害算法行为的策略
DOI：
10.1145/3491102.3517441
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Eslami, Motahhare
中科院分区：
文献类型：
--
作者：
DeVos, Alicia;Dhabalia, Aditi;Shen, Hong;Holstein, Kenneth;Eslami, Motahhare
HCI最近的工作表明，用户可以很强大地暴露出正式审计方法无法检测到的有害算法行为。然而，我们并不清楚用户是如何做到如此有效的，也不清楚我们如何支持更有效的用户驱动审计。为了进行调查，我们进行了一系列有声思维访谈、日记研究和研讨会，探索用户如何发现和理解算法系统中的有害行为，无论是个人还是集体。基于我们的研究结果，我们提出了一个过程模型捕捉用户的搜索和意义建构行为的动态和影响。我们发现：1）用户的搜索策略和解释在很大程度上受到他们的个人经验和社会偏见的影响; 2）多个用户之间的集体意义理解在用户驱动的算法审计中是非常宝贵的。我们提供了未来的方法和工具，可以更好地支持用户驱动的审计的设计方向。
Recent work in HCI suggests that users can be powerful in surfacing harmful algorithmic behaviors that formal auditing approaches fail to detect. However, it is not well understood how users are often able to be so effective, nor how we might support more effective user-driven auditing. To investigate, we conducted a series of think-aloud interviews, diary studies, and workshops, exploring how users find and make sense of harmful behaviors in algorithmic systems, both individually and collectively. Based on our findings, we present a process model capturing the dynamics of and influences on users’ search and sensemaking behaviors. We find that 1) users’ search strategies and interpretations are heavily guided by their personal experiences with and exposures to societal bias; and 2) collective sensemaking amongst multiple users is invaluable in user-driven algorithm audits. We offer directions for the design of future methods and tools that can better support user-driven auditing.
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Allison Woodruff;Sarah E. Fox;Steven Rousso;J. Warshaw
通讯作者：
J. Warshaw
DOI：
10.1145/169059.169209
发表时间：
1993-05
期刊：
Proceedings of the INTERACT '93 and CHI '93 Conference on Human Factors in Computing Systems
影响因子：
--
作者：
D. Russell;M. Stefik;P. Pirolli;S. Card
通讯作者：
D. Russell;M. Stefik;P. Pirolli;S. Card
影响因子：
2.1
作者：
Attenberg, Joshua;Ipeirotis, Panos;Provost, Foster
通讯作者：
Provost, Foster
DOI：
--
发表时间：
2019
期刊：
Proc. ACM Hum. Comput. Interact.
影响因子：
--
作者：
Niels van Berkel;Jorge Gonçalves;Danula Hettiachchi;S. Wijenayake;Ryan M. Kelly;V. Kostakos
通讯作者：
V. Kostakos
Spotify 算法推荐的民间理论：在南半球实施数据组合
影响因子：
8.5
作者：
I. Siles;Andrés Segura;R. Solís;Mónica Sancho
通讯作者：
Mónica Sancho