Fex: A Software Systems Evaluator
Fex: A Software Systems Evaluator
复制标题
Fex：软件系统评估器
DOI：
--
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
C. Fetzer
中科院分区：
文献类型：
--
作者：
O. Oleksenko;Dmitrii Kuvaiskii;Pramod Bhatotia;C. Fetzer
软件系统研究依靠实验评估来评估新开发的解决方案的有效性。然而，现有的评估框架是僵化的（不允许创建新的实验），通常过于简单化（可能无法揭示现实应用中出现的问题），并且可能不一致（不能保证跨平台实验的可重复性）。本文提出了 Fex，这是一个解决这些限制的软件系统评估框架。 Fex 具有可扩展性（可以通过自定义实验类型轻松扩展）、实用性（支持不同基准测试套件和实际应用程序的组合）和可重复性（它基于容器技术构建，以保证跨平台具有相同的软件堆栈）。我们证明 Fex 以最少的最终用户努力实现了这些设计目标 - 例如，将 Nginx Web 服务器添加到评估中仅需要 160 LoC。接下来，我们将讨论该框架的架构，解释其接口，展示常见的使用场景，并评估编写各种自定义扩展的工作。
Software systems research relies on experimental evaluation to assess the effectiveness of newly developed solutions. However, the existing evaluation frameworks are rigid (do not allow creation of new experiments), often simplistic (may not reveal issues that appear in real-world applications), and can be inconsistent (do not guarantee reproducibility of experiments across platforms). This paper presents Fex, a software systems evaluation framework that addresses these limitations. Fex is extensible (can be easily extended with custom experiment types), practical (supports composition of different benchmark suites and real-world applications), and reproducible (it is built on container technology to guarantee the same software stack across platforms). We show that Fex achieves these design goals with minimal end-user effort - for instance, adding Nginx web-server to evaluation requires only 160 LoC. Going forward, we discuss the architecture of the framework, explain its interface, show common usage scenarios, and evaluate the efforts for writing various custom extensions.