Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers.
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers.
复制标题
DOI：
10.1126/sciadv.abl4747
复制
发表时间：
2022-11-25
期刊：
影响因子：
13.6
通讯作者：
中科院分区：
文献类型：
--
作者：
了解机器学习（ML）算法的优点和缺点对于确定其应用范围至关重要。在这里，我们介绍了多样性和生成性ML基准（DIGEN），这是一个合成数据集的集合，用于对ML算法进行全面的，可重复的和可解释的基准测试，用于对二元结果进行分类。DIGEN资源由40个数学函数组成，这些函数将连续特征映射到二进制目标以创建合成数据集。这40个函数是使用启发式算法找到的，该算法旨在最大限度地提高多个流行ML算法的性能多样性，从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳，从而提供改进的想法。介绍DIGEN基准-用于二元结果分类的合成数据集的集合。
Understanding the strengths and weaknesses of machine learning (ML) algorithms is crucial to determine their scope of application. Here, we introduce the Diverse and Generative ML Benchmark (DIGEN), a collection of synthetic datasets for comprehensive, reproducible, and interpretable benchmarking of ML algorithms for classification of binary outcomes. The DIGEN resource consists of 40 mathematical functions that map continuous features to binary targets for creating synthetic datasets. These 40 functions were found using a heuristic algorithm designed to maximize the diversity of performance among multiple popular ML algorithms, thus providing a useful test suite for evaluating and comparing new methods. Access to the generative functions facilitates understanding of why a method performs poorly compared to other algorithms, thus providing ideas for improvement. Introducing DIGEN benchmark—a collection of synthetic datasets for classification of binary outcomes.
登录
查看更多内容
影响因子：
4.5
作者：
Olson RS;La Cava W;Orzechowski P;Urbanowicz RJ;Moore JH
通讯作者：
Moore JH
影响因子：
2.2
作者：
KOZA, JR
通讯作者：
KOZA, JR
影响因子：
4.5
作者：
Friedman, JH
通讯作者：
Friedman, JH
影响因子：
13.6
作者：
Udrescu, Silviu-Marian;Tegmark, Max
通讯作者：
Tegmark, Max
影响因子：
14.3
作者：
Deb, Kalyanmoy;Jain, Himanshu
通讯作者：
Jain, Himanshu