Estimating the intrinsic dimension of datasets by a minimal neighborhood information.
Estimating the intrinsic dimension of datasets by a minimal neighborhood information.
复制标题
DOI：
10.1038/s41598-017-11873-y
复制
发表时间：
2017-09-22
影响因子：
4.6
通讯作者：
Laio A
中科院分区：
文献类型：
--
作者：
Facco E;d'Errico M;Rodriguez A;Laio A
分析大量高维数据是数据科学、分子模拟等领域的一个重要问题。有几种方法的工作假设是，数据集的重要内容属于一个流形，其内在维数（ID）远低于原油大量的坐标。这样的流形通常是扭曲和弯曲的;此外，它上面的点将是非均匀分布的：这两个因素使得ID的识别和开发非常困难。在这里，我们提出了一个新的ID估计器，只使用样本中每个点的第一和第二最近邻的距离。这种极端的极小值使我们能够减少曲率的影响，密度变化，以及由此产生的计算成本。ID估计量在均匀分布的数据集中理论上是精确的，并且通常提供一致的度量。当与区组分析结合使用时，它允许区分作为区组大小的函数的相关尺寸。这允许估计ID，即使当数据位于由高维噪声扰动的流形上时，这是在真实的世界数据集中经常遇到的情况。我们证明了分子模拟和图像分析的方法的实用性。
Analyzing large volumes of high-dimensional data is an issue of fundamental importance in data science, molecular simulations and beyond. Several approaches work on the assumption that the important content of a dataset belongs to a manifold whose Intrinsic Dimension (ID) is much lower than the crude large number of coordinates. Such manifold is generally twisted and curved; in addition points on it will be non-uniformly distributed: two factors that make the identification of the ID and its exploitation really hard. Here we propose a new ID estimator using only the distance of the first and the second nearest neighbor of each point in the sample. This extreme minimality enables us to reduce the effects of curvature, of density variation, and the resulting computational cost. The ID estimator is theoretically exact in uniformly distributed datasets, and provides consistent measures in general. When used in combination with block analysis, it allows discriminating the relevant dimensions as a function of the block size. This allows estimating the ID even when the data lie on a manifold perturbed by a high-dimensional noise, a situation often encountered in real world data sets. We demonstrate the usefulness of the approach on molecular simulations and image analysis.
登录
查看更多内容
影响因子：
5.8
作者：
Pronk, Sander;Pall, Szilard;Lindahl, Erik
通讯作者：
Lindahl, Erik
DOI：
10.1073/pnas.1201152109
发表时间：
2012-04-03
影响因子：
11.1
作者：
Tribello, Gareth A.;Ceriotti, Michele;Parrinello, Michele
通讯作者：
Parrinello, Michele
影响因子：
8.6
作者：
GRASSBERGER, P;PROCACCIA, I
通讯作者：
PROCACCIA, I
影响因子：
4.6
作者：
Granata D;Carnevale V
通讯作者：
Carnevale V
影响因子：
8.6
作者：
Piana, Stefano;Laio, Alessandro
通讯作者：
Laio, Alessandro