Automatically Generating Data Exploration Sessions Using Deep Reinforcement Learning
Automatically Generating Data Exploration Sessions Using Deep Reinforcement Learning
复制标题
使用深度强化学习自动生成数据探索会话
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Amit Somech
中科院分区：
文献类型：
--
作者：
Ori Bar El;Tova Milo;Amit Somech
探索性数据分析（EDA）是一项重要但要求很高的任务。为了在探索新数据集之前抢先一步，数据科学家通常更喜欢查看现有的EDA笔记本-说明性的，策划的探索性会话，在同一数据集上，由在线共享的数据科学家同事创建。不幸的是，这样的笔记本并不总是可用的（例如，如果数据集是新的或机密的）。为了解决这个问题，我们提出了ATENA，一个系统，需要一个输入数据集，并自动生成一个引人注目的探索性会话，在EDA笔记本。我们将EDA塑造成一个控制问题，并设计了一种新的深度强化学习（DRL）架构，以有效地优化笔记本的生成。虽然ATENA使用的EDA操作集有限，但我们的实验表明，它可以生成有用的EDA笔记本，让用户获得实际的见解。
Exploratory Data Analysis (EDA) is an essential yet highly demanding task. To get a head start before exploring a new dataset, data scientists often prefer to view existing EDA notebooks -- illustrative, curated exploratory sessions, on the same dataset, that were created by fellow data scientists who shared them online. Unfortunately, such notebooks are not always available (e.g., if the dataset is new or confidential). To address this, we present ATENA, a system that takes an input dataset and auto-generates a compelling exploratory session, presented in an EDA notebook. We shape EDA into a control problem, and devise a novel Deep Reinforcement Learning (DRL) architecture to effectively optimize the notebook generation. Though ATENA uses a limited set of EDA operations, our experiments show that it generates useful EDA notebooks, allowing users to gain actual insights.
使用 Vizier 进行数据调试和探索
DOI：
10.1145/3299869.3320246
发表时间：
2019
期刊：
SIGMOD
影响因子：
--
作者：
Brachmann, Mike;Spoth, William;Yang, Ying;Bautista, Carlos;Castelo, Sonia;Feng, Su;Freire, Juliana;Glavic, Boris;Kennedy, Oliver;Müeller, Heiko
通讯作者：
Müeller, Heiko