Over‐optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results
Over‐optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results
复制标题
基准研究的过度乐观以及在解释其结果时设计和分析选项的多样性
DOI：
10.1002/widm.1441
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
A.-L. Boulesteix
中科院分区：
文献类型：
--
作者：
C. Niessl;M. Herrmann;C. Wiedemann;G. Casalicchio;A.-L. Boulesteix
近年来，科学界越来越认识到需要进行中立的基准研究，重点是比较来自计算科学的方法。虽然在最近的文献中可以找到关于中性基准研究的设计和分析的一般建议，但总是存在一定的灵活性。这包括数据集和性能度量的选择、缺失性能值的处理以及在数据集上聚合性能值的方式。由于这种灵活性，研究人员可能会担心他们的选择如何影响结果，或者在最坏的情况下，可能会受到诱惑，从事有问题的研究实践（例如，结果的选择性报告或设计或分析组件的事后修改）以符合他们的期望。为了提高人们对这个问题的认识，我们使用一个示例基准研究来说明当考虑一系列设计和分析选项的所有可能组合时，基准结果是如何变化的。然后，我们展示了如何使用多维展开评估每个选择对结果的影响。总之，根据以前的文献和我们的说明性例子，我们认为，设计和分析选项的多样性与可疑的研究实践相结合，导致对基准结果的偏见解释和过于乐观的结论。计算研究人员在设计和分析他们的基准研究时应该考虑这个问题，科学界也应该考虑这个问题，以获得更可靠的基准研究结果。本文分类如下：技术>可视化技术>数据预处理技术>结构发现和聚类
In recent years, the need for neutral benchmark studies that focus on the comparison of methods coming from computational sciences has been increasingly recognized by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, a certain flexibility always exists. This includes the choice of data sets and performance measures, the handling of missing performance values, and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g., the selective reporting of results or the post hoc modification of design or analysis components) to fit their expectations. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over‐optimistic conclusions. This issue should be considered by computational researchers when designing and analyzing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.This article is categorized under:Technologies > VisualizationTechnologies > Data PreprocessingTechnologies > Structure Discovery and Clustering
登录
查看更多内容
影响因子：
9.5
作者：
Herrmann M;Probst P;Hornung R;Jurinovic V;Boulesteix AL
通讯作者：
Boulesteix AL
影响因子：
4.4
作者：
Gatto L;Hansen KD;Hoopmann MR;Hermjakob H;Kohlbacher O;Beyer A
通讯作者：
Beyer A
有关 R 中多维缩放和展开的更多信息：smacof 版本 2
影响因子：
5.8
作者：
P. Mair;P. Groenen;J. Leeuw
通讯作者：
J. Leeuw
DOI：
10.1007/s41060-019-00185-1
发表时间：
2020-03-01
影响因子：
2.4
作者：
De Cnudde, Sofie;Martens, David;Provost, Foster
通讯作者：
Provost, Foster
影响因子：
3
作者：
Novianti PW;Jong VL;Roes KC;Eijkemans MJ
通讯作者：
Eijkemans MJ