No Explainability without Accountability: An Empirical Study of Explanations and Feedback in Interactive ML
No Explainability without Accountability: An Empirical Study of Explanations and Feedback in Interactive ML
复制标题
没有责任就没有可解释性：交互式机器学习中解释和反馈的实证研究
DOI：
10.1145/3313831.3376624
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Findlater, Leah
中科院分区：
文献类型：
--
作者：
Smith-Renner, Alison;Fan, Ron;Birchfield, Melissa;Wu, Tongshuang;Boyd-Graber, Jordan;Weld, Daniel S.;Findlater, Leah
机器学习（ML）如何建模推理的自动生成解释可以帮助用户理解和接受它们。然而，解释可能会产生意想不到的后果：促进过度依赖或破坏信任。本文研究了解释如何影响用户对机器学习模型的看法，无论是否有能力向他们提供反馈：(1)揭示模型缺陷是否会增加用户“修复”它们的愿望；(2)提供解释是否会导致用户错误地认为模型是内省的，因此会随着时间的推移而改进？通过两个对照实验-不同的模型质量-我们展示了解释和用户反馈的组合如何影响感知，例如对模型改进的挫折感和期望。对于低质量模型，没有反馈机会的解释是令人沮丧的，而对于高质量模型，解释和反馈之间的相互作用表明，不应该在没有解释的情况下要求详细的反馈。用户期望模型修正，无论他们是否提供反馈或收到解释。
Automatically generated explanations of how machine learning (ML) models reason can help users understand and accept them. However, explanations can have unintended consequences: promoting over-reliance or undermining trust. This paper investigates how explanations shape users' perceptions of ML models with or without the ability to provide feedback to them: (1) does revealing model flaws increase users' desire to "fix" them; (2) does providing explanations cause users to believe - wrongly - that models are introspective, and will thus improve over time. Through two controlled experiments - varying model quality - we show how the combination of explanations and user feedback impacted perceptions, such as frustration and expectations of model improvement. Explanations without opportunity for feedback were frustrating with a lower quality model, while interactions between explanation and feedback for the higher quality model suggest that detailed feedback should not be requested without explanation. Users expected model correction, regardless of whether they provided feedback or received explanations.
登录
查看更多内容
解释是否能让 VQA 模型对人类来说更具可预测性？
DOI：
10.18653/v1/d18-1128
发表时间：
2018
期刊：
Advances in neural information processing systems
影响因子：
--
作者：
Arjun Chandrasekaran;Viraj Prabhu;Deshraj Yadav;Prithvijit Chattopadhyay;Devi Parikh
通讯作者：
Devi Parikh
DOI：
10.1145/2030112.2030168
发表时间：
2011-09
期刊：
--
影响因子：
--
作者：
Brian Y. Lim;A. Dey
通讯作者：
Brian Y. Lim;A. Dey
影响因子：
0.9
作者：
Amershi, Saleema;Cakmak, Maya;Kulesza, Todd
通讯作者：
Kulesza, Todd
对人类代理团队的见解：智能代理的透明度和不确定性
DOI：
10.1007/978-3-319-41959-6_13
发表时间：
2017
期刊：
Advances in intelligent systems and computing
影响因子：
--
作者：
K. Stowers;N. Kasdaglis;Michael A. Rupp;Jessie Y.C. Chen;D. Barber;M. Barnes
通讯作者：
M. Barnes
为什么和为什么不解释可以提高上下文感知智能系统的可理解性
DOI：
10.1145/1518701.1519023
发表时间：
2009
期刊：
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Brian Y. Lim;A. Dey;Daniel Avrahami
通讯作者：
Daniel Avrahami