A Novel Information-Theoretic Approach for Variable Clustering and Predictive Modeling Using Dirichlet Process Mixtures.
A Novel Information-Theoretic Approach for Variable Clustering and Predictive Modeling Using Dirichlet Process Mixtures.
复制标题
DOI：
10.1038/srep38913
复制
发表时间：
2016-12-14
影响因子：
4.6
通讯作者：
Yang H
中科院分区：
文献类型：
--
作者：
Chen Y;Yang H
在大数据时代，人们越来越关注对变量进行聚类以最小化数据冗余和最大化变量相关性。然而，现有的聚类方法依赖于关于数据结构的重要假设。请注意，变量之间的非线性相互依赖性对传统的预测建模框架提出了重大挑战。在目前的工作中，我们从信息论的角度重新表述变量聚类问题，不需要数据结构的假设来识别变量之间的非线性相互依赖。具体来说，我们建议使用互信息来表征和测量变量之间的非线性相关结构。此外，我们开发了狄利克雷过程（DP）模型，根据变量之间的互信息度量对变量进行聚类。最后，将每个簇中的正交归一化变量与组弹性网络模型集成，以提高预测建模的性能。仿真和实际案例研究表明，所提出的方法不仅有效地揭示了变量之间的非线性相互依赖结构，而且优于层次聚类等传统变量聚类算法。
In the era of big data, there are increasing interests on clustering variables for the minimization of data redundancy and the maximization of variable relevancy. Existing clustering methods, however, depend on nontrivial assumptions about the data structure. Note that nonlinear interdependence among variables poses significant challenges on the traditional framework of predictive modeling. In the present work, we reformulate the problem of variable clustering from an information theoretic perspective that does not require the assumption of data structure for the identification of nonlinear interdependence among variables. Specifically, we propose the use of mutual information to characterize and measure nonlinear correlation structures among variables. Further, we develop Dirichlet process (DP) models to cluster variables based on the mutual-information measures among variables. Finally, orthonormalized variables in each cluster are integrated with group elastic-net model to improve the performance of predictive modeling. Both simulation and real-world case studies showed that the proposed methodology not only effectively reveals the nonlinear interdependence structures among variables but also outperforms traditional variable clustering algorithms such as hierarchical clustering.
登录
查看更多内容
DOI：
10.1109/tase.2015.2459068
发表时间：
2016-01-01
影响因子：
5.6
作者：
Chen, Yun;Yang, Hui
通讯作者：
Yang, Hui
DOI：
10.1109/jbhi.2013.2243842
发表时间：
2013-03-01
影响因子：
7.7
作者：
Liu, Gang;Yang, Hui
通讯作者：
Yang, Hui
影响因子：
6
作者：
Blei, DM;Ng, AY;Jordan, MI
通讯作者：
Jordan, MI
影响因子：
3.7
作者：
WARD, JH
通讯作者：
WARD, JH
影响因子：
5.1
作者：
Jain, Anil K.
通讯作者：
Jain, Anil K.