Investigating benchmark correlations when comparing algorithms with parameter tuning
Investigating benchmark correlations when comparing algorithms with parameter tuning
复制标题
在比较算法与参数调整时研究基准相关性
DOI：
10.1145/3205651.3205747
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Christie L
中科院分区：
文献类型：
--
作者：
Christie L
基准对于比较优化算法的性能很重要，但是我们可以选择对我们的算法有利的实例，并忽略我们的算法表现不佳的实例。还涉及到算法的自动设计，它使用问题实例（基准）来训练算法：仔细选择的实例是需要的算法generalize.We扫描参数设置的差分进化适用于BBOB基准。几个基准函数高度相关。这可能会导致错误的结论，即算法在一般情况下表现良好，而在少数关键实例上表现不佳。这些相关性随评价次数而变化。
Benchmarks are important for comparing performance of optimisation algorithms, but we can select instances that present our algorithm favourably, and dismiss those on which our algorithm under-performs. Also related are automated design of algorithms, which use problem instances (benchmarks) to train an algorithm: careful choice of instances is needed for the algorithm to generalise.We sweep parameter settings of differential evolution to applied to the BBOB benchmarks. Several benchmark functions are highly correlated. This may lead to the false conclusion that an algorithm performs well in general, when it performs poorly on a few key instances. These correlations vary with the number of evaluations.
登录
查看更多内容
DOI：
10.1007/978-3-642-44973-4_4
发表时间：
2013-01
期刊：
--
影响因子：
--
作者：
Tinus Abell;Y. Malitsky;Kevin Tierney
通讯作者：
Tinus Abell;Y. Malitsky;Kevin Tierney
DOI：
10.1145/2739482.2764890
发表时间：
2015-07
期刊：
Proceedings of the Companion Publication of the 2015 Annual Conference on Genetic and Evolutionary Computation
影响因子：
--
作者：
J. Mccall;Lee A. Christie;A. Brownlee
通讯作者：
J. Mccall;Lee A. Christie;A. Brownlee
DOI：
10.1145/2598394.2609843
发表时间：
2014-07
期刊：
Proceedings of the Companion Publication of the 2014 Annual Conference on Genetic and Evolutionary Computation
影响因子：
--
作者：
J. Woodward;J. Swan
通讯作者：
J. Woodward;J. Swan
影响因子：
4.1
作者：
Nacim Belkhir;Johann Dréo;P. Savéant;Marc Schoenauer
通讯作者：
Marc Schoenauer
我们是否均匀随机生成实例？
DOI：
10.1109/cec.2017.7969499
发表时间：
2017
期刊：
2017 IEEE Congress on Evolutionary Computation (CEC)
影响因子：
--
作者：
Josu Ceberio;A. Mendiburu;J. A. Lozano
通讯作者：
J. A. Lozano