Streamlining data-intensive biology with workflow systems.
Streamlining data-intensive biology with workflow systems.
复制标题
使用工作流系统简化数据密集型生物学。
DOI：
10.1093/gigascience/giaa140
复制
发表时间：
2021-01-13
期刊：
影响因子：
9.2
通讯作者：
Pierce-Ward NT
中科院分区：
文献类型：
--
作者：
Reiter T;Brooks PT;Irber L;Joslin SEK;Reid CM;Scott C;Brown CT;Pierce-Ward NT
随着生物数据生成规模的不断扩大，研究的瓶颈也从数据生成转向了分析。研究人员通常需要构建包括多个分析工具的计算工作流，并且需要增量开发，因为实验洞察需要工具和参数修改。这些工作流程可以生成成百上千个中间文件和结果，必须集成这些文件和结果才能获得生物学上的洞察。以数据为中心的工作流系统在内部管理计算资源、软件和有条件地执行分析步骤，正在重塑生物数据分析的格局，并使研究人员能够进行大规模的可重复分析。采用这些工具可以促进和加快可靠的数据分析，但仍然缺乏对这些技术的了解。在这里，我们提供了一系列策略，用于利用具有结构化项目、数据和资源管理的工作流系统来简化大规模生物分析。我们在高通量测序数据分析的背景下提出了这些做法，但这些原则广泛适用于在该领域以外工作的生物学家。
As the scale of biological data generation has increased, the bottleneck of research has shifted from data generation to analysis. Researchers commonly need to build computational workflows that include multiple analytic tools and require incremental development as experimental insights demand tool and parameter modifications. These workflows can produce hundreds to thousands of intermediate files and results that must be integrated for biological insight. Data-centric workflow systems that internally manage computational resources, software, and conditional execution of analysis steps are reshaping the landscape of biological data analysis and empowering researchers to conduct reproducible analyses at scale. Adoption of these tools can facilitate and expedite robust data analysis, but knowledge of these techniques is still lacking. Here, we provide a series of strategies for leveraging workflow systems with structured project, data, and resource management to streamline large-scale biological analysis. We present these practices in the context of high-throughput sequencing data analysis, but the principles are broadly applicable to biologists working beyond this field.
登录
查看更多内容
影响因子：
12.3
作者：
Alaux M;Rogers J;Letellier T;Flores R;Alfama F;Pommier C;Mohellibi N;Durand S;Kimmel E;Michotey C;Guerche C;Loaec M;Lainé M;Steinbach D;Choulet F;Rimbert H;Leroy P;Guilhot N;Salse J;Feuillet C;International Wheat Genome Sequencing Consortium;Paux E;Eversole K;Adam-Blondon AF;Quesneville H
通讯作者：
Quesneville H
影响因子：
14.9
作者：
Cochrane G;Karsch-Mizrachi I;Takagi T;International Nucleotide Sequence Database Collaboration
通讯作者：
International Nucleotide Sequence Database Collaboration
影响因子：
12.3
作者：
Bacher R;Kendziorski C
通讯作者：
Kendziorski C
影响因子：
3.1
作者：
Cereceda, Oihane;Quinn, Danielle E. A.
通讯作者：
Quinn, Danielle E. A.
影响因子：
15.5
作者：
Clarke, Erik L.;Taylor, Louis J.;Bittinger, Kyle
通讯作者：
Bittinger, Kyle