Trust but Verify: How to Leverage Policies, Workflows, and Infrastructure to Ensure Computational Reproducibility in Publication
Trust but Verify: How to Leverage Policies, Workflows, and Infrastructure to Ensure Computational Reproducibility in Publication
复制标题
信任但验证：如何利用策略、工作流程和基础设施来确保出版物中的计算可重复性
DOI：
10.1162/99608f92.25982dcf
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Stodden, Victoria
中科院分区：
文献类型：
--
作者：
Willis, Craig;Stodden, Victoria
本文从七个再现性举措的定性研究中提取结果，列举了九个关键决策点，旨在通过扩大同行评审和出版过程来解决对计算研究质量和严谨性的担忧。我们根据最近的美国国家科学、工程和医学院（NASEM，2019）关于期刊再现性审计的科学建议中的再现性和可复制性的报告评估了我们的指导。我们提出了10项研究结果，阐明了再现性倡议如何与各种社会和技术因素相抗衡，包括编辑基础设施的重大差距，以及研究工件如何包装传播缺乏统一性。我们提出并定义了一个新的概念，可评估的可复制的研究工件，并指出了一个更好的理解如何改变作者的激励和传播要求影响的质量，严谨性和可信度的计算研究。
This article distills findings from a qualitative study of seven reproducibility initiatives to enumerate nine key decision points for journals seeking to address concerns about the quality and rigor of computational research by expanding the peer review and publication process. We evaluate our guidance in light of the recent National Academies of Science, Engineering, and Medicine (NASEM, 2019) report on Reproducibility and Replicability in Science recommendation for journal reproducibility audits. We present 10 findings that clarify how reproducibility initiatives contend with a variety of social and technical factors, including significant gaps in editorial infrastructure and a lack of uniformity in how research artifacts are packaged for dissemination. We propose and define a novel concept of assessable reproducible research artifacts and point the way to an improved understanding of how changes to author incentives and dissemination requirements impact the quality, rigor, and trustworthiness of published computational research.
登录
查看更多内容
旋转门游说者的价值下降：来自美洲各州的证据
影响因子：
4.2
作者：
James M. Strickland
通讯作者：
James M. Strickland
(Ir)可重复计量经济学市场
DOI：
10.1080/08989629308573828
发表时间：
1993
期刊：
Accountability in Research
影响因子：
--
作者：
S. Feigenbaum;D. M. Levy
通讯作者：
D. M. Levy
ICeD-T 通过允许异常基因表达模式来准确估计肿瘤样本中的免疫细胞丰度
DOI：
10.1101/326421
发表时间：
2018
期刊：
bioRxiv
影响因子：
--
作者：
Douglas R. Wilson;J. Ibrahim;Wei Sun
通讯作者：
Wei Sun
DOI：
10.1145/2464526.2464530
发表时间：
2013
期刊：
ACM SIGSOFT Softw. Eng. Notes
影响因子：
--
作者：
S. Krishnamurthi
通讯作者：
S. Krishnamurthi
影响因子：
4.2
作者：
Sarah Brierley;Eric Kramon;George Ofosu
通讯作者：
George Ofosu