Paths Explored, Paths Omitted, Paths Obscured: Decision Points & Selective Reporting in End-to-End Data Analysis
Paths Explored, Paths Omitted, Paths Obscured: Decision Points & Selective Reporting in End-to-End Data Analysis
复制标题
探索的路径、省略的路径、模糊的路径：决策点
DOI：
10.1145/3313831.3376533
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Heer, Jeffrey
中科院分区：
文献类型：
--
作者：
Liu, Tang;Althoff, Tim;Heer, Jeffrey
从数据中得出可靠的推论涉及到数据收集、争论和建模阶段的许多决策，有时甚至是任意决策。由于不同的选择可能导致不同的结论，了解研究人员如何做出分析决策对于支持可靠和可复制的分析非常重要。在这项研究中，我们仔细研究了九项已发表的研究，并对其作者进行了半结构化访谈。我们观察到，研究人员往往根据他们的决定方法或理论问题，但受到来自数据，专业知识，或感知的可解释性的约束。我们证实，研究人员可能会尝试选择，以寻求理想的结果，但也确定其他原因，为什么研究人员探索替代品，但忽略的结果。与我们的访谈相一致，我们还提供了可视化，用于在整个分析过程中传达决策过程。根据我们的研究结果，我们确定了加强端到端分析的设计机会，例如通过跟踪和元分析多个决策路径。
Drawing reliable inferences from data involves many, sometimes arbitrary, decisions across phases of data collection, wrangling, and modeling. As different choices can lead to diverging conclusions, understanding how researchers make analytic decisions is important for supporting robust and replicable analysis. In this study, we pore over nine published research studies and conduct semi-structured interviews with their authors. We observe that researchers often base their decisions on methodological or theoretical concerns, but subject to constraints arising from the data, expertise, or perceived interpretability. We confirm that researchers may experiment with choices in search of desirable results, but also identify other reasons why researchers explore alternatives yet omit findings. In concert with our interviews, we also contribute visualizations for communicating decision processes throughout an analysis. Based on our results, we identify design opportunities for strengthening end-to-end analysis, for instance via tracking and meta-analysis of multiple decision paths.
登录
查看更多内容
石井，N.；A.W.M.辛普森；C.C.阿什利：科学。
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
通讯作者：
--
Statsplorer：指导统计分析新手
DOI：
--
发表时间：
2015
期刊：
International Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Chat Wacharamanotham;K. Subramanian;S. Völkel;Jan O. Borchers
通讯作者：
Jan O. Borchers
试金石
DOI：
10.1007/978-3-030-58292-0_200556
发表时间：
2021
期刊：
Encyclopedic Dictionary of Archaeology
影响因子：
--
作者：
Kwok Cheung;J. Hunter
通讯作者：
J. Hunter
DOI：
10.1037/cbs0000075
发表时间：
2017-07-01
影响因子：
2.5
作者：
Cribbie, Robert A.
通讯作者：
Cribbie, Robert A.
可视化分叉路径花园：可靠的探索性视觉分析的设计空间：立场文件
DOI：
10.1109/beliv.2018.8634103
发表时间：
2018
期刊：
2018 IEEE Evaluation and Beyond - Methodological Approaches for Visualization (BELIV)
影响因子：
--
作者：
Xiaoying Pu;Matthew Kay
通讯作者：
Matthew Kay