Smallset Timelines: A Visual Representation of Data Preprocessing Decisions
Smallset Timelines: A Visual Representation of Data Preprocessing Decisions
复制标题
小集时间线：数据预处理决策的可视化表示
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Lexing Xie
中科院分区：
文献类型：
--
作者：
L. R. Lucchesi;P. Kuhnert;Jenny L. Davis;Lexing Xie
数据预处理是数据分析流程中的关键阶段，需要考虑技术和社会方面。然而，在研究实践和传播中往往缺乏对它的关注。我们提出了小集时间轴，可视化，以帮助反映和沟通数据预处理决策。“小集合”是从包含数据集更改实例的原始数据集中选择的小行。时间轴由代表预处理阶段不同点的小集快照和描述每个点可视化变化的标题组成。对数据集的编辑、添加和删除均以颜色突出显示。我们开发了R软件包smallsets，它可以从R和Python数据预处理脚本创建Smallset Timelines。构建数字要求从业者在必要时反思和修改决定，而分享数字的目的是使不同的受众可以访问该过程。我们提出了两个案例研究来说明使用的小集时间轴可视化预处理决策。案例研究包括软件缺陷数据和收入调查基准数据，其中预处理分别影响预测任务中的数据丢失和组公平性水平。我们设想Smallset Timelines作为一个数据出处工具，使更好的文档和通信的预处理任务。
Data preprocessing is a crucial stage in the data analysis pipeline, with both technical and social aspects to consider. Yet, the attention it receives is often lacking in research practice and dissemination. We present the Smallset Timeline, a visualisation to help reflect on and communicate data preprocessing decisions. A “Smallset” is a small selection of rows from the original dataset containing instances of dataset alterations. The Timeline is comprised of Smallset snapshots representing different points in the preprocessing stage and captions to describe the alterations visualised at each point. Edits, additions, and deletions to the dataset are highlighted with colour. We develop the R software package, smallsets, that can create Smallset Timelines from R and Python data preprocessing scripts. Constructing the figure asks practitioners to reflect on and revise decisions as necessary, while sharing it aims to make the process accessible to a diverse range of audiences. We present two case studies to illustrate use of the Smallset Timeline for visualising preprocessing decisions. Case studies include software defect data and income survey benchmark data, in which preprocessing affects levels of data loss and group fairness in prediction tasks, respectively. We envision Smallset Timelines as a go-to data provenance tool, enabling better documentation and communication of preprocessing tasks at large.
登录
查看更多内容
NASA 软件缺陷数据集的厄运
DOI：
10.1145/2915970.2916007
发表时间：
2016
期刊：
--
影响因子：
--
作者：
Petric J
通讯作者：
Petric J
为什么数据革命需要定性方法
DOI：
10.1162/99608f92.eee0b0da
发表时间：
2021
期刊：
Harvard Data Science Review
影响因子：
--
作者：
Tanweer, Anissa;Gade, Emily Kalah;Krafft, P.M.;Dreier, Sarah K.
通讯作者：
Dreier, Sarah K.
DOI：
--
发表时间：
2021-08
期刊：
--
影响因子：
--
作者：
Frances Ding;Moritz Hardt;John Miller;Ludwig Schmidt
通讯作者：
Frances Ding;Moritz Hardt;John Miller;Ludwig Schmidt
提高数据质量（出版物）：更深入的数据思考和更全面的数据坦白
DOI：
10.1111/rssa.12762
发表时间：
2021
期刊：
Journal of the Royal Statistical Society: Series A (Statistics in Society
影响因子：
--
作者：
Meng, Xiao‐Li
通讯作者：
Meng, Xiao‐Li