How are ML-Based Online Content Moderation Systems Actually Used? Studying Community Size, Local Activity, and Disparate Treatment
How are ML-Based Online Content Moderation Systems Actually Used? Studying Community Size, Local Activity, and Disparate Treatment
复制标题
基于机器学习的在线内容审核系统实际如何使用？
DOI：
10.1145/3531146.3533147
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Zhu, Haiyi
中科院分区：
文献类型：
--
作者：
Wang, Leijie;Zhu, Haiyi
基于机器学习的预测系统越来越多地用于协助在线团体和社区完成各种内容审核任务。然而，对于不同群体和社区是否以及如何根据其社区特征以不同方式使用此类预测系统，目前的定量理解有限。在这项研究中，我们对内容审核系统在 17 个维基百科语言社区中的使用情况进行了实地评估。我们发现 1) 较大的社区倾向于使用预测系统来识别最具破坏性的编辑，而较小的社区则倾向于使用它们来识别任何可能具有破坏性的编辑； 2）预测系统在本地编辑活动较多的内容领域使用较少； 3）预测系统对于减少不同特征社区中匿名编辑和注册编辑之间的差异待遇具有混合效应。最后，我们讨论了未来以人为本的审核算法的理论和实践意义。
Machine learning-based predictive systems are increasingly used to assist online groups and communities in various content moderation tasks. However, there are limited quantitative understandings of whether and how different groups and communities use such predictive systems differently according to their community characteristics. In this research, we conducted a field evaluation of how content moderation systems are used in 17 Wikipedia language communities. We found that 1) larger communities tend to use predictive systems to identify the most damaging edits, while smaller communities tend to use them to identify any edit that could be damaging; 2) predictive systems are used less in content areas where there are more local editing activities; 3) predictive systems have mixed effects on reducing disparate treatment between anonymous and registered editors across communities of different characteristics. Finally, we discuss the theoretical and practical implications for future human-centered moderation algorithms.
登录
查看更多内容
维基百科中的破坏行为剖析：肖尔式的辩护方法
影响因子：
3.6
作者：
P. D. Laat
通讯作者：
P. D. Laat
算法标记对公平性的影响
DOI：
--
发表时间：
2021
期刊：
Proc. ACM Hum. Comput. Interact.
影响因子：
--
作者：
Nathan TeBlunthuis;Benjamin Mako Hill;Aaron L Halfaker
通讯作者：
Aaron L Halfaker
机器人的社会角色
影响因子：
--
作者：
Joseph Seering;J. Flores;Saiph Savage;Jessica Hammer
通讯作者：
Jessica Hammer
机器人和机器人：维基百科的免疫系统
影响因子：
2.2
作者：
Aaron L Halfaker;J. Riedl
通讯作者：
J. Riedl
影响算法决策中感知公平性的因素：算法结果、开发程序和个体差异
DOI：
10.1145/3313831.3376813
发表时间：
2020
期刊：
Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Wang, Ruotong;Harper, F. Maxwell;Zhu, Haiyi
通讯作者：
Zhu, Haiyi