DataHub: Collaborative Data Science & Dataset Version Management at Scale
DataHub: Collaborative Data Science & Dataset Version Management at Scale
复制标题
DOI：
--
复制
发表时间：
2014-09
期刊：
影响因子：
--
通讯作者：
Anant P. Bhardwaj;Souvik Bhattacherjee;Amit Chavan;A. Deshpande;Aaron J. Elmore;S. Madden;Aditya G. Parameswaran
中科院分区：
文献类型：
--
作者：
Anant P. Bhardwaj;Souvik Bhattacherjee;Amit Chavan;A. Deshpande;Aaron J. Elmore;S. Madden;Aditya G. Parameswaran
关系数据库对数据协作的支持有限，在数据协作中，团队协作管理和分析大型数据集。受 git 等软件版本控制系统的启发，我们提出（a）数据集版本控制系统，使用户能够创建、分支、合并、差异和搜索大型、不同的数据集集合，以及（b）平台 DATAHUB，使用户能够在此版本控制系统上执行协作数据分析。我们概述了大规模提供数据集版本控制的挑战。
Relational databases have limited support for data collaboration, where teams collaboratively curate and analyze large datasets. Inspired by software version control systems like git, we propose (a) a dataset version control system, giving users the ability to create, branch, merge, difference and search large, divergent collections of datasets, and (b) a platform, DATAHUB, that gives users the ability to perform collaborative data analysis building on this version control system. We outline the challenges in providing dataset version control at scale.