On Model Discovery For Hosted Data Science Projects
On Model Discovery For Hosted Data Science Projects
复制标题
关于托管数据科学项目的模型发现
DOI：
10.1145/3076246.3076252
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
A. Deshpande
中科院分区：
文献类型：
--
作者：
Hui Miao;Ang Li;L. Davis;A. Deshpande
除了开发用于可扩展机器学习和协作数据科学活动的系统外，公共共享数据科学项目的趋势越来越明显，托管在通用或专用托管服务中，如GitHub和DataHub。托管项目的工件非常丰富，不仅包括文本文件，还包括版本化数据集、训练模型、项目文档等。在数据科学活动的快节奏和期望下，模型发现，即，寻找相关的数据科学项目来重用，是端到端机器学习数据管理背景下的一项重要任务。在本文中，我们研究了这项任务，并介绍了正在进行的工作ModelHub发现，一个系统，在托管的数据科学项目中寻找相关的模型。我们没有为数据科学项目规定一个结构化的数据模型，而是采取了一种信息检索方法，将发现任务分解为三个主要步骤：项目查询和匹配，模型比较和排名，以及使用返回的模型处理和构建集合。我们描述的动机和必要条件，提出技术，并提出了机会和挑战，为托管数据科学项目的模型发现。
Alongside developing systems for scalable machine learning and collaborative data science activities, there is an increasing trend toward publicly shared data science projects, hosted in general or dedicated hosting services, such as GitHub and DataHub. The artifacts of the hosted projects are rich and include not only text files, but also versioned datasets, trained models, project documents, etc. Under the fast pace and expectation of data science activities, model discovery, i.e., finding relevant data science projects to reuse, is an important task in the context of data management for end-to-end machine learning. In this paper, we study the task and present the ongoing work on ModelHub Discovery, a system for finding relevant models in hosted data science projects. Instead of prescribing a structured data model for data science projects, we take an information retrieval approach by decomposing the discovery task into three major steps: project query and matching, model comparison and ranking, and processing and building ensembles with returned models. We describe the motivation and desiderata, propose techniques, and present opportunities and challenges for model discovery for hosted data science projects.
ProvDB：协作分析工作流程的生命周期管理
DOI：
10.1145/3077257.3077267
发表时间：
2017
期刊：
2nd Workshop on Human-In-the-Loop Data Analytics
影响因子：
--
作者：
Miao, Hui;Chavan, Amit;Deshpande, Amol
通讯作者：
Deshpande, Amol
DOI：
10.1109/icde.2017.112
发表时间：
2016-11
期刊：
2017 IEEE 33rd International Conference on Data Engineering (ICDE)
影响因子：
--
作者：
Hui Miao;Ang Li;L. Davis;A. Deshpande
通讯作者：
Hui Miao;Ang Li;L. Davis;A. Deshpande