Surrogate Scoring Rules
Surrogate Scoring Rules
复制标题
替代评分规则
DOI：
10.1145/3391403.3399488
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Chen, Yiling
中科院分区：
文献类型：
--
作者：
Liu, Yang;Wang, Juntao;Chen, Yiling
严格适当的评分规则（SPSR）是激励相容的诱导随机变量的信息从战略代理人时，委托人可以奖励代理后，实现的随机变量。他们还量化了引发信息的质量，更准确的预测在预期中获得更高的分数。在这篇文章中，我们扩展这样的评分规则设置中，一个主要的elephants私人概率信念，但只能访问代理的报告。我们将解决方案命名为替代评分规则（SSR）。SSR是建立在一个偏差校正步骤和错误率估计程序的参考答案定义使用代理人的报告。我们表明，一个小的信息先验分布的随机变量，SSR在多任务设置恢复SPSR的期望，好像有机会获得地面真相。因此，SSR的一个显著特征是，尽管缺乏地面实况，但它们量化了信息的质量，就像SPSR对地面实况的设置所做的那样。作为一种副产品，SSR导致了显著的统一策略真实性。我们的方法进行了验证，从理论和经验收集的数据从真实的人类预测。
Strictly proper scoring rules (SPSR) are incentive compatible for eliciting information about random variables from strategic agents when the principal can reward agents after the realization of the random variables. They also quantify the quality of elicited information, with more accurate predictions receiving higher scores in expectation. In this article, we extend such scoring rules to settings in which a principal elicits private probabilistic beliefs but only has access to agents’ reports. We name our solutionSurrogate Scoring Rules(SSR). SSR is built on a bias correction step and an error rate estimation procedure for a reference answer defined using agents’ reports. We show that, with a little information about the prior distribution of the random variables, SSR in a multi-task setting recover SPSR in expectation, as if having access to the ground truth. Therefore, a salient feature of SSR is that they quantify the quality of information despite the lack of ground truth, just as SPSR do for the settingwithground truth. As a by-product, SSR inducedominant uniform strategy truthfulnessin reporting. Our method is verified both theoretically and empirically using data collected from real human forecasters.
登录
查看更多内容
通过同行预测进行预测聚合
DOI：
--
发表时间：
2021
期刊：
Proceedings of the Ninth AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2021
影响因子：
--
作者：
Wang, Juntao;Liu, Yang;Chen, Yiling
通讯作者：
Chen, Yiling
影响因子：
7.2
作者：
Tetlock, Philip E.;Mellers, Barbara A.;Chen, Eva
通讯作者：
Chen, Eva
DOI：
10.1609/aaai.v30i1.10050
发表时间：
2016
期刊：
ArXiv
影响因子：
--
作者：
Rafael M. Frongillo;Jens Witkowski
通讯作者：
Jens Witkowski
DOI：
--
发表时间：
2019
期刊：
ACM-SIAM Symposium on Discrete Algorithms
影响因子：
--
作者：
Yuqing Kong
通讯作者：
Yuqing Kong
两块岩石中的水：最大化互信息
DOI：
--
发表时间：
2018
期刊：
ACM Conference on Economics and Computation
影响因子：
--
作者：
Yuqing Kong;G. Schoenebeck
通讯作者：
G. Schoenebeck