Balancing Fairness and Accuracy in Sentiment Detection using Multiple Black Box Models
Balancing Fairness and Accuracy in Sentiment Detection using Multiple Black Box Models
复制标题
使用多个黑盒模型平衡情绪检测的公平性和准确性
DOI：
10.1145/3422841.3423536
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Singh, Vivek K.
中科院分区：
文献类型：
--
作者：
Almuzaini, Abdulaziz A.;Singh, Vivek K.
情感检测是多种信息检索任务的重要组成部分，例如产品推荐，网络欺凌，假新闻和错误信息检测。毫不奇怪，现在有多种商业API，每种API都具有不同的准确性和公平性，可用于情感检测。用户可以轻松地将这些API集成到他们的应用程序中。虽然在多媒体计算文献中通常研究了将来自多个模态或黑盒模型的输入相结合以提高准确性，但是在将不同的模态相结合以提高所产生的决策的公平性方面的工作很少。在这项工作中，我们审计了多个商业情感检测API，用于两个演员新闻标题设置中的性别偏见，并报告了观察到的偏见水平。接下来，我们提出了一种“灵活的公平回归”方法，该方法通过从多个黑盒模型中联合学习来确保令人满意的准确性和公平性。这些结果为多个应用程序的公平而准确的情感检测器铺平了道路。
Sentiment detection is an important building block for multiple information retrieval tasks such as product recommendation, cyberbullying, fake news and misinformation detection. Unsurprisingly, multiple commercial APIs, each with different levels of accuracy and fairness, are now publicly available for sentiment detection. Users can easily incorporate these APIs in their applications. While combining inputs from multiple modalities or black-box models for increasing accuracy is commonly studied in multimedia computing literature, there has been little work on combining different modalities for increasingfairness of the resulting decision. In this work, we audit multiple commercial sentiment detection APIs for the gender bias in two-actor news headlines settings and report on the level of bias observed. Next, we propose a "Flexible Fair Regression" approach, which ensures satisfactory accuracy and fairness by jointly learning from multiple black-box models. The results pave way for fair yet accurate sentiment detectors for multiple applications.
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
J. Shen;Lauren Fratamico;Iyad Rahwan;Alexander M. Rush
通讯作者：
Alexander M. Rush
DOI：
10.18653/v1/p19-1159
发表时间：
2019-06
期刊：
--
影响因子：
--
作者：
Tony Sun;Andrew Gaut;Shirlyn Tang;Yuxin Huang;Mai Elsherief;Jieyu Zhao;Diba Mirza;E. Belding-Royer;Kai-Wei Chang;William Yang Wang
通讯作者：
Tony Sun;Andrew Gaut;Shirlyn Tang;Yuxin Huang;Mai Elsherief;Jieyu Zhao;Diba Mirza;E. Belding-Royer;Kai-Wei Chang;William Yang Wang
数学毁灭性武器：大数据如何加剧不平等并威胁民主
DOI：
10.1177/0256090919853933
发表时间：
2016
期刊：
Vikalpa: The Journal for Decision Makers
影响因子：
--
作者：
Shikha Verma
通讯作者：
Shikha Verma
女性图书管理员和男性计算机程序员？
DOI：
--
发表时间：
2019
期刊：
J. Assoc. Inf. Sci. Technol.
影响因子：
--
作者：
Vivek K. Singh;M. Chayko;Raj Inamdar;Diana Floegel
通讯作者：
Diana Floegel
用于弱监督网络欺凌检测的减少偏差联合训练集合
DOI：
10.1007/978-3-030-34980-6_32
发表时间：
2019
期刊：
2019 IEEE Fifth International Conference on Multimedia Big Data (BigMM)
影响因子：
--
作者：
Elaheh Raisi;Bert Huang
通讯作者：
Bert Huang