Multiclass Performance Metric Elicitation
Multiclass Performance Metric Elicitation
复制标题
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
G. Hiranandani;Shant Boodaghians;R. Mehta;Oluwasanmi Koyejo
中科院分区：
文献类型：
--
作者：
G. Hiranandani;Shant Boodaghians;R. Mehta;Oluwasanmi Koyejo
指标启发是一个原则性的框架，用于选择最能反映隐式用户偏好的性能指标。然而，到目前为止，可用的策略仅限于二元分类。在本文中，我们提出了新的策略，只使用相对偏好反馈引起多类分类性能指标。我们还表明，该策略是强大的有限样本和反馈噪声。
Metric Elicitation is a principled framework for selecting the performance metric that best reflects implicit user preferences. However, available strategies have so far been limited to binary classification. In this paper, we propose novel strategies for eliciting multiclass classification performance metrics using only relative preference feedback. We also show that the strategies are robust to both finite sample and feedback noise.