Trucks Don’t Mean Trump: Diagnosing Human Error in Image Analysis
Trucks Don’t Mean Trump: Diagnosing Human Error in Image Analysis
复制标题
卡车并不意味着特朗普：诊断图像分析中的人为错误
DOI：
10.1145/3531146.3533145
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Pierson, Emma
中科院分区：
文献类型：
--
作者：
Zamfirescu-Pereira, J.D.;Chen, Jerry;Wen, Emily;Koenecke, Allison;Garg, Nikhil;Pierson, Emma
算法为检测和剖析人类的偏见和错误提供了强大的工具。在这里，我们开发了机器学习方法来分析人类如何在特定的高风险任务中犯错：图像解释。我们利用了一个独特的数据集，该数据集包含16,135,392个人类预测，基于谷歌街景图像，预测一个社区在2020年美国大选中是投票给唐纳德·特朗普还是乔·拜登。我们表明，通过训练每个图像的贝叶斯最优决策的机器学习估计器，我们可以将人为错误分解为偏差、方差和噪声项，并进一步识别导致人类误入歧途的特定特征（如皮卡车）。我们的方法可以用于确保人在环决策是准确和公平的，也适用于黑盒算法系统。
Algorithms provide powerful tools for detecting and dissecting human bias and error. Here, we develop machine learning methods to to analyze how humans err in a particular high-stakes task: image interpretation. We leverage a unique dataset of 16,135,392 human predictions of whether a neighborhood voted for Donald Trump or Joe Biden in the 2020 US election, based on a Google Street View image. We show that by training a machine learning estimator of the Bayes optimal decision for each image, we can provide an actionable decomposition of human error into bias, variance, and noise terms, and further identify specific features (like pickup trucks) which lead humans astray. Our methods can be applied to ensure that human-in-the-loop decision-making is accurate and fair and are also applicable to black-box algorithmic systems.
登录
查看更多内容
将超人人工智能与人类行为结合起来：国际象棋作为模型系统
DOI：
10.1145/3394486.3403219
发表时间：
2020
期刊：
Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
影响因子：
--
作者：
Reid McIlroy;S. Sen;J. Kleinberg;Ashton Anderson
通讯作者：
Ashton Anderson
DOI：
10.1073/pnas.1720347115
发表时间：
2018-04-17
影响因子：
11.1
作者：
Garg, Nikhil;Schiebinger, Londa;Zou, James
通讯作者：
Zou, James
传感器驱动的人机交互照明控制
影响因子：
2.5
作者：
F. Tan;F. Tan;D. Caicedo;A. Pandharipande;Marco Zúñiga
通讯作者：
Marco Zúñiga
DOI：
10.7208/chicago/9780226613475.003.0024
发表时间：
2018
期刊：
The Economics of Artificial Intelligence
影响因子：
--
作者：
Colin Camerer
通讯作者：
Colin Camerer
DOI：
10.2139/ssrn.3489440
发表时间：
2019
期刊：
Econometrics: Econometric & Statistical Methods - Special Topics eJournal
影响因子：
--
作者：
M. Stevenson;Jennifer L. Doleac
通讯作者：
Jennifer L. Doleac