Scarf enables a highly memory-efficient analysis of large-scale single-cell genomics data.
Scarf enables a highly memory-efficient analysis of large-scale single-cell genomics data.
复制标题
DOI：
10.1038/s41467-022-32097-3
复制
发表时间：
2022-08-08
影响因子：
16.6
通讯作者：
中科院分区：
文献类型：
--
作者：
随着单细胞基因组学实验的规模增长到数百万，处理这些数据的计算需求超出了许多人的能力范围。在此，我们介绍了Scarf，这是一个模块化设计的Python包，可以与其他单细胞工具包无缝互操作，并允许在笔记本电脑或单板计算机等低成本设备上对数百万个细胞进行内存高效的单细胞分析。我们通过将其应用于现有最大的单细胞RNA-Seq和ATAC-Seq数据集来证明Scarf的内存和计算时间效率。Scarf封装了基于图的t随机邻居嵌入和分层聚类算法的内存效率实现。此外，在保持内存效率的同时，Scarf执行精确的数据集引用锚定映射。通过实现子采样算法，Scarf还具有从给定数据集中生成具有代表性的细胞样本的能力，其中稀有细胞群体和谱系分化轨迹是保守的。总之，Scarf提供了一个框架，在这个框架中，任何研究人员都可以在标准的笔记本电脑上执行高级处理、子采样、再分析和集成atlas规模的数据集。Scarf可以在Github上找到：https://github.com/parashardhapola/scarf。随着单细胞基因组学实验的规模增长到数百万，处理这些数据的计算需求超出了许多人的能力范围。在这里，作者介绍了Scarf，这是一个模块化设计的Python包，它使分析工作流具有很高的内存效率，这样即使是最大的现有数据集也可以在一台普通的现代笔记本电脑上进行分析。
As the scale of single-cell genomics experiments grows into the millions, the computational requirements to process this data are beyond the reach of many. Herein we present Scarf, a modularly designed Python package that seamlessly interoperates with other single-cell toolkits and allows for memory-efficient single-cell analysis of millions of cells on a laptop or low-cost devices like single-board computers. We demonstrate Scarf’s memory and compute-time efficiency by applying it to the largest existing single-cell RNA-Seq and ATAC-Seq datasets. Scarf wraps memory-efficient implementations of a graph-based t-stochastic neighbour embedding and hierarchical clustering algorithm. Moreover, Scarf performs accurate reference-anchored mapping of datasets while maintaining memory efficiency. By implementing a subsampling algorithm, Scarf additionally has the capacity to generate representative sampling of cells from a given dataset wherein rare cell populations and lineage differentiation trajectories are conserved. Together, Scarf provides a framework wherein any researcher can perform advanced processing, subsampling, reanalysis, and integration of atlas-scale datasets on standard laptop computers. Scarf is available on Github: https://github.com/parashardhapola/scarf. As the scale of single-cell genomics experiments grows into the millions, the computational requirements to process this data are beyond the reach of many. Here the authors present Scarf, a modularly designed Python package that makes the analysis workflow highly memory efficient such that even the largest existing datasets can be analyzed on an average modern laptop.
登录
查看更多内容
影响因子：
64.8
作者：
Cao, Junyue;Spielmann, Malte;Shendure, Jay
通讯作者：
Shendure, Jay
影响因子：
46.9
作者：
Becht, Etienne;McInnes, Leland;Newell, Evan W.
通讯作者：
Newell, Evan W.
影响因子：
64.5
作者：
Levine JH;Simonds EF;Bendall SC;Davis KL;Amir el-AD;Tadmor MD;Litvin O;Fienberg HG;Jager A;Zunder ER;Finck R;Gedman AL;Radtke I;Downing JR;Pe'er D;Nolan GP
通讯作者：
Nolan GP
影响因子：
9.3
作者：
Baron M;Veres A;Wolock SL;Faust AL;Gaujoux R;Vetere A;Ryu JH;Wagner BK;Shen-Orr SS;Klein AM;Melton DA;Yanai I
通讯作者：
Yanai I
影响因子：
4.6
作者：
Bastidas-Ponce, Aimee;Tritschler, Sophie;Bakhti, Mostafa
通讯作者：
Bakhti, Mostafa