Understanding and Supporting Debugging Workflows in Multiverse Analysis
Understanding and Supporting Debugging Workflows in Multiverse Analysis
复制标题
了解和支持多元宇宙分析中的调试工作流程
DOI：
10.1145/3544548.3581099
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Althoff, Tim
中科院分区：
文献类型：
--
作者：
Gu, Ken;Jun, Eunice;Althoff, Tim
多元宇宙分析--一种并行考虑所有合理分析选择组合的统计分析范例--有望提高透明度和可重复性。虽然最近的工具可以帮助分析师指定多重宇宙分析，但它们仍然难以在实践中使用。在这项工作中，我们确定调试作为一个关键的障碍，由于从运行分析检测错误和诊断错误所需的元数据处理的规模的延迟。为了应对这些挑战，我们原型化了一个命令行界面工具，Multiverse Replogger，它可以帮助诊断multiverse中的错误并传播修复。在一项定性实验室研究（n=13）中，我们使用Multiverse Problogger作为探针来开发调试工作流的模型，并确定具体的挑战，包括难以理解多元宇宙的组成。我们的结论与未来的多元宇宙分析创作系统的设计影响。
Multiverse analysis—a paradigm for statistical analysis that considers all combinations of reasonable analysis choices in parallel—promises to improve transparency and reproducibility. Although recent tools help analysts specify multiverse analyses, they remain difficult to use in practice. In this work, we identify debugging as a key barrier due to the latency from running analyses to detecting bugs and the scale of metadata processing needed to diagnose a bug. To address these challenges, we prototype a command-line interface tool, Multiverse Debugger, which helps diagnose bugs in the multiverse and propagate fixes. In a qualitative lab study (n=13), we use Multiverse Debugger as a probe to develop a model of debugging workflows and identify specific challenges, including difficulty in understanding the multiverse’s composition. We conclude with design implications for future multiverse analysis authoring systems.
登录
查看更多内容
网络浏览器读者视图对阅读速度和用户体验的影响
DOI：
10.1145/3290605.3300754
发表时间：
2019
期刊：
Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Qisheng Li;M. Morris;Adam Fourney;K. Larson;Katharina Reinecke
通讯作者：
Katharina Reinecke
影响因子：
5.7
作者：
Niso, Guiomar;Botvinik-Nezer, Rotem;Appelhoff, Stefan;De la Vega, Alejandro;Esteban, Oscar;Etzel, Joset A.;Finc, Karolina;Ganz, Melanie;Gau, Remi;Halchenko, Yaroslav O.;Herholz, Peer;Karakuzu, Agah;Keator, David B.;Markiewicz, Christopher J.;Maumet, Camille;Pernet, Cyril R.;Pestilli, Franco;Queder, Nazek;Schmitt, Tina;Sojka, Weronika;Wagner, Adina S.;Whitaker, Kirstie J.;Rieger, Jochem W.
通讯作者：
Rieger, Jochem W.
DOI：
10.1007/978-0-387-30162-4_28
发表时间：
2021-08
期刊：
Proceedings of the 1997 International Symposium on Parallel Architectures, Algorithms and Networks (I-SPAN'97)
影响因子：
--
作者：
通讯作者：
--
石井，N.；A.W.M.辛普森；C.C.阿什利：科学。
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
通讯作者：
--
满月和分叉路径
影响因子：
--
作者：
Gary Smith
通讯作者：
Gary Smith