ProvDB: Lifecycle Management of Collaborative Analysis Workflows
ProvDB: Lifecycle Management of Collaborative Analysis Workflows
复制标题
ProvDB：协作分析工作流程的生命周期管理
DOI：
10.1145/3077257.3077267
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Deshpande, Amol
中科院分区：
文献类型：
--
作者：
Miao, Hui;Chavan, Amit;Deshpande, Amol
随着数据驱动方法在各种学科中变得越来越普遍，迫切需要开发可扩展和可持续的工具来简化数据科学的过程，使用户更容易跟踪正在执行的分析和生成的数据集，并使用户能够理解和分析工作流程。在本文中，我们描述了一个统一的起源和元数据管理系统，以支持复杂的协作数据科学工作流的生命周期管理我们的愿景。我们认为，有关分析过程和数据工件的信息可以而且应该以半被动的方式捕获;我们表明，查询和分析这些信息不仅可以简化簿记和调试任务，还可以实现一组丰富的新功能，例如识别数据科学过程本身的缺陷。它还可以通过自动化分析和监视，显著减少用户在修复部署后问题上花费的时间。我们已经实现了一个原型系统，PROFDB，在git和Neo4j之上，我们描述了它的关键特性和功能。
As data-driven methods are becoming pervasive in a wide variety of disciplines, there is an urgent need to develop scalable and sustainable tools to simplify the process of data science, to make it easier for the users to keep track of the analyses being performed and datasets being generated, and to enable the users to understand and analyze the workflows. In this paper, we describe our vision of a unified provenance and metadata management system to support lifecycle management of complex collaborative data science workflows. We argue that the information about the analysis processes and data artifacts can, and should be, captured in a semi-passive manner; and we show that querying and analyzing this information can not only simplify bookkeeping and debugging tasks but also enable a rich new set of capabilities like identifying flaws in the data science process itself. It can also significantly reduce the user time spent in fixing post-deployment problems through automated analysis and monitoring. We have implemented a prototype system, PROVDB, on top of git and Neo4j, and we describe its key features and capabilities.
登录
查看更多内容
影响因子：
1
作者：
J. Hellerstein;Vikram Sreekanti;Joseph E. Gonzalez;J. Dalton;Akon Dey;Sreyashi Nag;Krishna Ramachandran;Sudhanshu Arora;A. Bhattacharyya;Shirshanka Das;Mark Donsky;Gabriel Fierro;Chang She;Carl Steinbach;V. Subramanian;Eric Sun
通讯作者：
J. Hellerstein;Vikram Sreekanti;Joseph E. Gonzalez;J. Dalton;Akon Dey;Sreyashi Nag;Krishna Ramachandran;Sudhanshu Arora;A. Bhattacharyya;Shirshanka Das;Mark Donsky;Gabriel Fierro;Chang She;Carl Steinbach;V. Subramanian;Eric Sun
DOI：
10.1007/11890850_16
发表时间：
2006-05
期刊：
--
影响因子：
--
作者：
Yong Zhao;M. Wilde;Ian T Foster
通讯作者：
Yong Zhao;M. Wilde;Ian T Foster
DOI：
--
发表时间：
2014-09
期刊：
ArXiv
影响因子：
--
作者：
Anant P. Bhardwaj;Souvik Bhattacherjee;Amit Chavan;A. Deshpande;Aaron J. Elmore;S. Madden;Aditya G. Parameswaran
通讯作者：
Anant P. Bhardwaj;Souvik Bhattacherjee;Amit Chavan;A. Deshpande;Aaron J. Elmore;S. Madden;Aditya G. Parameswaran
模型选择管理系统：高级分析的下一个前沿
DOI：
--
发表时间：
2016
期刊：
SGMD
影响因子：
--
作者：
Arun Kumar;Robert McCann;J. Naughton;J. Patel
通讯作者：
J. Patel
DOI：
10.1109/icde.2017.112
发表时间：
2016-11
期刊：
2017 IEEE 33rd International Conference on Data Engineering (ICDE)
影响因子：
--
作者：
Hui Miao;Ang Li;L. Davis;A. Deshpande
通讯作者：
Hui Miao;Ang Li;L. Davis;A. Deshpande