A large-scale study on research code quality and execution.
A large-scale study on research code quality and execution.
复制标题
DOI：
10.1038/s41597-022-01143-6
复制
发表时间：
2022-02-21
期刊：
影响因子：
9.8
通讯作者：
Crosas M
中科院分区：
文献类型：
--
作者：
Trisovic A;Lau MK;Pasquier T;Crosas M
本文介绍了一项关于研究代码的质量和执行的研究，这些代码来自哈佛数据库中公开可用的复制数据集。研究代码通常由一组科学家创建，并与学术论文一起发表，以促进研究的透明度和可重复性。在这项研究中，我们定义了十个问题来解决影响研究可重复性和可重用性的方面。首先，我们检索并分析了2000多个复制数据集，其中包含2010年至2020年发布的9000多个独特的R文件。其次，我们在一个干净的运行时环境中执行代码，以评估其重用的便利性。识别了常见的编码错误，其中一些错误通过自动代码清理来解决，以帮助代码执行。我们发现74%的R文件在初始执行中没有错误地完成，而56%的文件在应用代码清理时失败，这表明许多错误可以通过良好的编码实践来预防。我们还分析了来自期刊集合的复制数据集，并讨论了期刊策略严格性对代码重执行率的影响。最后，基于我们的结果，我们提出了一组针对研究人员、期刊和存储库的代码传播建议。
This article presents a study on the quality and execution of research code from publicly-available replication datasets at the Harvard Dataverse repository. Research code is typically created by a group of scientists and published together with academic papers to facilitate research transparency and reproducibility. For this study, we define ten questions to address aspects impacting research reproducibility and reuse. First, we retrieve and analyze more than 2000 replication datasets with over 9000 unique R files published from 2010 to 2020. Second, we execute the code in a clean runtime environment to assess its ease of reuse. Common coding errors were identified, and some of them were solved with automatic code cleaning to aid code execution. We find that 74% of R files failed to complete without error in the initial execution, while 56% failed when code cleaning was applied, showing that many errors can be prevented with good coding practices. We also analyze the replication datasets from journals’ collections and discuss the impact of the journal policy strictness on the code re-execution rate. Finally, based on our results, we propose a set of recommendations for code dissemination aimed at researchers, journals, and repositories.
登录
查看更多内容
影响因子：
2.1
作者：
Barba, Lorena A.
通讯作者：
Barba, Lorena A.
影响因子：
19.6
作者：
Chen, Xiaoli;Dallmeier-Tiessen, Suenje;Neubert, Sebastian
通讯作者：
Neubert, Sebastian
影响因子：
1.8
作者：
Marwick, Ben;Boettiger, Carl;Mullen, Lincoln
通讯作者：
Mullen, Lincoln
DOI：
10.1016/j.future.2017.12.029
发表时间：
2019-05-01
影响因子：
7.5
作者：
Brinckman, Adam;Chard, Kyle;Turner, Kandace
通讯作者：
Turner, Kandace
影响因子：
1.4
作者：
KNUTH, DE
通讯作者：
KNUTH, DE