SOAPnuke: a MapReduce acceleration-supported software for integrated quality control and preprocessing of high-throughput sequencing data.
SOAPnuke: a MapReduce acceleration-supported software for integrated quality control and preprocessing of high-throughput sequencing data.
复制标题
Soapnuke：MAPREDUCE加速支持的软件，用于集成质量控制和预处理高通量测序数据。
DOI：
10.1093/gigascience/gix120
复制
发表时间：
2018-01-01
期刊：
影响因子：
9.2
通讯作者：
Chen Q
中科院分区：
文献类型：
--
作者：
Chen Y;Chen Y;Shi C;Huang Z;Zhang Y;Li S;Li Y;Ye J;Yu C;Li Z;Zhang X;Wang J;Yang H;Fang L;Chen Q
质量控制（QC）和预处理是测序数据分析的必要步骤，以确保结果的准确性。然而，现有的工具不能提供一个令人满意的解决方案，集成全面的功能，适当的架构，和高度可扩展的加速。在本文中，我们将SOAPnuke作为一个具有丰富功能的工具，用于“QC-Preprocess-QC”工作流和MapReduce加速框架。设计了四个具有不同预处理功能的模块，分别用于处理基因组、小RNA、数字基因表达和宏基因组实验数据。作为一个类似于工作流的工具，SOAPnuke将处理功能集中到一个可执行文件中，并预定义它们的顺序，以避免在切换工具时重新格式化不同文件的必要性。此外，MapReduce框架具有很大的可扩展性，可以将所有处理工作分布到整个计算集群。我们进行了一个基准测试，其中使用SOAPnuke和其他工具来预处理GIAB发布的30× NA 12878数据集。SOAPnuke的独立操作在资源占用和性能之间取得了平衡。当使用MapReduce在16个工作节点上加速时，SOAPnuke的速度是其他工具的5.7倍。
Quality control (QC) and preprocessing are essential steps for sequencing data analysis to ensure the accuracy of results. However, existing tools cannot provide a satisfying solution with integrated comprehensive functions, proper architectures, and highly scalable acceleration. In this article, we demonstrate SOAPnuke as a tool with abundant functions for a “QC-Preprocess-QC” workflow and MapReduce acceleration framework. Four modules with different preprocessing functions are designed for processing datasets from genomic, small RNA, Digital Gene Expression, and metagenomic experiments, respectively. As a workflow-like tool, SOAPnuke centralizes processing functions into 1 executable and predefines their order to avoid the necessity of reformatting different files when switching tools. Furthermore, the MapReduce framework enables large scalability to distribute all the processing works to an entire compute cluster. We conducted a benchmarking where SOAPnuke and other tools are used to preprocess a ∼30× NA12878 dataset published by GIAB. The standalone operation of SOAPnuke struck a balance between resource occupancy and performance. When accelerated on 16 working nodes with MapReduce, SOAPnuke achieved ∼5.7 times the fastest speed of other tools.
登录
查看更多内容
影响因子：
3
作者：
Falgueras J;Lara AJ;Fernández-Pozo N;Cantón FR;Pérez-Trabado G;Claros MG
通讯作者：
Claros MG
影响因子：
3.7
作者：
Han Y;Zhang X;Wang W;Wang Y;Ming F
通讯作者：
Ming F
AfterQC：fastq数据的自动过滤、修剪、错误消除和质量控制
影响因子：
3
作者：
Chen S;Huang T;Zhou Y;Han Y;Xu M;Gu J
通讯作者：
Gu J
影响因子：
14.9
作者：
Lohse M;Bolger AM;Nagel A;Fernie AR;Lunn JE;Stitt M;Usadel B
通讯作者：
Usadel B
影响因子：
9
作者：
Hall AE;Lu WT;Godfrey JD;Antonov AV;Paicu C;Moxon S;Dalmay T;Wilczynska A;Muller PA;Bushell M
通讯作者：
Bushell M