Understanding User Sensemaking in Machine Learning Fairness Assessment Systems
Understanding User Sensemaking in Machine Learning Fairness Assessment Systems
复制标题
了解机器学习公平性评估系统中的用户意义建构
DOI：
10.1145/3442381.3450092
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Rzeszotarski, Jeffrey M.
中科院分区：
文献类型：
--
作者：
Gu, Ziwei;Yan, Jing Nathan;Rzeszotarski, Jeffrey M.
已经提出了各种系统来帮助用户检测机器学习（ML）公平性问题。这些系统从多个角度来减少偏见，包括推荐系统、探索工具和仪表板。在本文中，我们试图通过研究个人如何理解公平问题，因为他们使用不同的去偏见启示通知这些系统的设计。特别是，我们认为去偏见的建议，这是快速的，但可能缺乏细微差别和“如果”风格的探索，这是耗时的，但可能会导致更深入的理解和可转移的见解之间的紧张关系。使用日志，有声思维的数据，和半结构化的访谈，我们发现，探索性的系统促进了丰富的模式的假设生成和测试，而建议提供快速的答案，满足参与者在减少信息暴露的成本。我们强调了ML公平系统设计中的设计要求和权衡，以促进准确和可解释的评估。
A variety of systems have been proposed to assist users in detecting machine learning (ML) fairness issues. These systems approach bias reduction from a number of perspectives, including recommender systems, exploratory tools, and dashboards. In this paper, we seek to inform the design of these systems by examining how individuals make sense of fairness issues as they use different de-biasing affordances. In particular, we consider the tension between de-biasing recommendations which are quick but may lack nuance and ”what-if” style exploration which is time consuming but may lead to deeper understanding and transferable insights. Using logs, think-aloud data, and semi-structured interviews we find that exploratory systems promote a rich pattern of hypothesis generation and testing, while recommendations deliver quick answers which satisfy participants at the cost of reduced information exposure. We highlight design requirements and trade-offs in the design of ML fairness systems to promote accurate and explainable assessments.
登录
查看更多内容
与残疾人一起进行远程可用性评估
DOI：
10.1145/1124772.1124942
发表时间：
2006
期刊：
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
H. Petrie;F. Hamilton;Neil King;P. Pavan
通讯作者：
P. Pavan
远程可用性测试发生了什么？：三种方法的实证研究
DOI：
--
发表时间：
2007
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
M. Andreasen;H. V. Nielsen;Simon Ormholt Schrøder;J. Stage
通讯作者：
J. Stage
影响因子：
0.9
作者：
Amershi, Saleema;Cakmak, Maya;Kulesza, Todd
通讯作者：
Kulesza, Todd
DOI：
--
发表时间：
2018
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Allison Woodruff;Sarah E. Fox;Steven Rousso;J. Warshaw
通讯作者：
J. Warshaw
情境设计：系统设计的新兴观点
DOI：
10.1145/97243.97304
发表时间：
1990
期刊：
The Journal of laryngology and otology
影响因子：
--
作者：
Dennis R. Wixon;K. Holtzblatt;S. Knox
通讯作者：
S. Knox