On Learning Prediction-Focused Mixtures
On Learning Prediction-Focused Mixtures
复制标题
关于以预测为中心的混合学习
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
F. Doshi
中科院分区：
文献类型：
--
作者：
Abhishek Sharma;Catherine Zeng;Sanjana Narayanan;S. Parbhoo;F. Doshi
概率模型帮助我们对潜在结构进行编码，这些结构既可以对数据进行建模，也可以用于特定的下游任务。其中，混合模型和它们的时间序列对应物，隐马尔可夫模型，识别数据中的离散成分。在这项工作中，我们专注于受限容量设置，我们希望学习具有相对较少组件的模型（例如，出于可解释性目的）。为了保持预测性能，我们引入了以预测为中心的混合建模，它会自动选择与预测任务相关的维度。我们的方法从输入中识别出相关信号，优于不以预测为重点的模型，并且易于优化;我们还描述了以预测为重点的建模何时可以工作。
Probabilistic models help us encode latent structures that both model the data and are ideally also useful for specific downstream tasks. Among these, mixture models and their time-series counterparts, hidden Markov models, identify discrete components in the data. In this work, we focus on a constrained capacity setting, where we want to learn a model with relatively few components (e.g. for interpretability purposes). To maintain prediction performance, we introduce prediction-focused modeling for mixtures, which automatically selects the dimensions relevant to the prediction task. Our approach identifies relevant signal from the input, outperforms models that are not prediction-focused, and is easy to optimize; we also characterize when prediction-focused modeling can be expected to work.
影响因子：
120.7
作者：
Seymour, Christopher W.;Kennedy, Jason N.;Angus, Derek C.
通讯作者：
Angus, Derek C.
影响因子：
16.1
作者：
Orkin, Chloe;Oka, Shinichi;Spreen, William R.
通讯作者：
Spreen, William R.