A Better Decision Tree: The Max-Cut Decision Tree with Modified PCA Improves Accuracy and Running Time
A Better Decision Tree: The Max-Cut Decision Tree with Modified PCA Improves Accuracy and Running Time
复制标题
更好的决策树：采用改进的 PCA 的最大割决策树提高了准确性和运行时间
DOI：
10.1007/s42979-022-01147-4
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Hochbaum, Dorit S.
中科院分区：
文献类型：
--
作者：
Bodine, Jonathan;Hochbaum, Dorit S.
决策树是一种广泛使用的分类方法，既可以单独使用，也可以作为多种不同集成学习方法的构建块。这里介绍的最大切割决策树涉及到对分类决策树的标准基线变体CART Gini的新修改。一种修改涉及另一种分裂度量，最大切割，基于最大化属于阈值的单独类和单独侧的所有观测对之间的距离。另一个修改，节点均值PCA，选择决策功能，从线性组合的输入功能构建使用调整主成分分析（PCA）本地在每个节点。我们的实验表明，这种基于节点的，本地化的PCA与最大切割分裂度量可以显着提高分类精度，同时也显着减少计算时间相比，CART基尼决策树。这些改进对于更高维的数据集最为重要。对于示例数据集CIFAR-100，相对于CART Gini，这些修改使准确率提高了49%，同时与Scikit-Learn实现的CART Gini相比，速度加快了。这些引入的修改预计将大大提高决策树的能力，困难的分类任务。
Decision trees are a widely used method for classification, both alone and as the building blocks of multiple different ensemble learning methods. The Max Cut decision tree introduced here involves novel modifications to a standard, baseline variant of a classification decision tree, CART Gini. One modification involves an alternative splitting metric, Max Cut, based on maximizing the distance between all pairs of observations that belong to separate classes and separate sides of the threshold value. The other modification, Node Means PCA, selects the decision feature from a linear combination of the input features constructed using an adjustment to principal component analysis (PCA) locally at each node. Our experiments show that this node-based, localized PCA with the Max Cut splitting metric can dramatically improve classification accuracy while also significantly decreasing computational time compared to the CART Gini decision tree. These improvements are most significant for higher-dimensional datasets. For the example dataset CIFAR-100, the modifications enabled a 49% improvement in accuracy, relative to CART Gini, while providing aspeed up compared to the Scikit-Learn implementation of CART Gini. These introduced modifications are expected to dramatically advance the capabilities of decision trees for difficult classification tasks.
基于决策树算法的主成分分析（PCA）比较研究
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Aung Nway Oo
通讯作者：
Aung Nway Oo
最大割决策树：提高决策树的准确性和运行时间
DOI：
--
发表时间：
2020
期刊：
International Conference on Knowledge Discovery and Information Retrieval
影响因子：
--
作者：
Jonathan Bodine;D. Hochbaum
通讯作者：
D. Hochbaum
大规模数据挖掘的稀疏计算
DOI：
--
发表时间：
2014
期刊：
2014 IEEE International Conference on Big Data (Big Data)
影响因子：
--
作者：
D. Hochbaum;P. Baumann
通讯作者：
P. Baumann