A retrospective study of one decade of artifact evaluations
A retrospective study of one decade of artifact evaluations
复制标题
十年工件评估的回顾性研究
DOI：
10.1145/3540250.3549172
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Beyer, Dirk
中科院分区：
文献类型：
--
作者：
Winter, Stefan;Timperley, Christopher S.;Hermann, Ben;Cito, Jürgen;Bell, Jonathan;Hilton, Michael;Beyer, Dirk
大多数软件工程研究都涉及原型、概念验证或测量仪器的开发。与研究过程中收集的数据一起，它们被统称为研究工件，并在科学会议上进行工件评估（AE）。自2011年ESEC/FSE在SE社区发起以来，AE的目标和过程都发生了变化，今天对AE的期望与可重复的研究结果和可重复使用的工具密切相关，其他研究人员可以在此基础上开展工作。然而，迄今为止，很少有证据表明通过AE的工件实际上达到了这些高期望，即，AE过程在多大程度上有助于AE的目标，以及它们所施加的开销是否合理。我们的目标是通过对十年来软件工程（SE）和编程语言（PL）会议的研究成果进行深入分析来填补这一空白，并在此基础上反思我们社区中AE的目标和机制。总之，我们的分析（1）表明，包含伪影的文章通常在社区中没有更好的可见性，（2）提供证据证明评价和未评价的伪影在不同的质量标准方面有何不同，（3）强调进一步改进AE流程的机会。
Most software engineering research involves the development of a prototype, a proof of concept, or a measurement apparatus. Together with the data collected in the research process, they are collectively referred to as research artifacts and are subject to artifact evaluation (AE) at scientific conferences. Since its initiation in the SE community at ESEC/FSE 2011, both the goals and the process of AE have evolved and today expectations towards AE are strongly linked with reproducible research results and reusable tools that other researchers can build their work on. However, to date little evidence has been provided that artifacts which have passed AE actually live up to these high expectations, i.e., to which degree AE processes contribute to AE's goals and whether the overhead they impose is justified.We aim to fill this gap by providing an in-depth analysis of research artifacts from a decade of software engineering (SE) and programming languages (PL) conferences, based on which we reflect on the goals and mechanisms of AE in our community. In summary, our analyses (1) suggest that articles with artifacts do not generally have better visibility in the community, (2) provide evidence how evaluated and not evaluated artifacts differ with respect to different quality criteria, and (3) highlight opportunities for further improving AE processes.
登录
查看更多内容
DOI：
10.1145/2464526.2464530
发表时间：
2013
期刊：
ACM SIGSOFT Softw. Eng. Notes
影响因子：
--
作者：
S. Krishnamurthi
通讯作者：
S. Krishnamurthi
Dagstuhl 实验网络研究再现性初学者指南
影响因子：
2.8
作者：
Bajpai, Vaibhav;Brunstrom, Anna;Feldmann, Anja;Kellerer, Wolfgang;Pras, Aiko;Schulzrinne, Henning;Smaragdakis, Georgios;Wählisch, Matthias;Wehrle, Klaus
通讯作者：
Wehrle, Klaus
再现性标记和定义：国家信息标准组织的推荐做法
DOI：
10.3789/niso-rp-31-2021
发表时间：
2021
期刊：
Comput. Commun. Rev.
影响因子：
--
作者：
Neil Philippe Chue Hong
通讯作者：
Neil Philippe Chue Hong
关于神器徽章的想法
影响因子：
2.8
作者：
Noa Zilberman;A. Moore
通讯作者：
A. Moore
影响因子：
4.1
作者：
C. Timperley;Lauren Herckis;Claire Le Goues;Michael C Hilton
通讯作者：
Michael C Hilton