Deep Multi-Fidelity Active Learning of High-dimensional Outputs
Deep Multi-Fidelity Active Learning of High-dimensional Outputs
复制标题
高维输出的深度多保真主动学习
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Shandian Zhe
中科院分区：
文献类型：
--
作者：
Shibo Li;R. Kirby;Shandian Zhe
许多应用，如物理模拟和工程设计，需要我们估计的功能与高维输出。可以用不同的精度来收集训练示例，以允许成本/精度权衡。在本文中，我们考虑的主动学习任务，确定保真度和输入查询新的训练样本，以达到最佳的效益成本比。为此，我们提出了DMFAL，一种深度多保真度主动学习方法。我们首先开发了一个基于深度神经网络的多保真度模型，用于高维输出的学习，它可以灵活、有效地捕获输出和精度之间的各种复杂关系，以提高预测能力。然后，我们提出了一个基于互信息的采集功能，扩展了预测熵的原则。为了克服大输出维数带来的计算挑战，我们使用多变量Delta方法和矩匹配来估计输出后验，并使用Weinstein-Aronszajn恒等式来计算和优化获取函数。该算法简单、可靠、高效。在计算物理和工程设计的几个应用中，我们显示了我们的方法的优势。
Many applications, such as in physical simulation and engineering design, demand we estimate functions with high-dimensional outputs. The training examples can be collected with different fidelities to allow a cost/accuracy trade-off. In this paper, we consider the active learning task that identifies both the fidelity and input to query new training examples so as to achieve the best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity Active Learning approach. We first develop a deep neural network-based multi-fidelity model for learning with high-dimensional outputs, which can flexibly, efficiently capture all kinds of complex relationships across the outputs and fidelities to improve prediction. We then propose a mutual information-based acquisition function that extends the predictive entropy principle. To overcome the computational challenges caused by large output dimensions, we use multi-variate Delta's method and moment-matching to estimate the output posterior, and Weinstein-Aronszajn identity to calculate and optimize the acquisition function. The computation is tractable, reliable and efficient. We show the advantage of our method in several applications of computational physics and engineering design.
DOI：
--
发表时间：
2018-11
期刊：
ArXiv
影响因子：
--
作者：
Jialin Song;Yuxin Chen;Yisong Yue
通讯作者：
Jialin Song;Yuxin Chen;Yisong Yue
DOI：
--
发表时间：
2020-06
期刊：
ArXiv
影响因子：
--
作者：
Zheng Wang;Wei W. Xing;R. Kirby;Shandian Zhe
通讯作者：
Zheng Wang;Wei W. Xing;R. Kirby;Shandian Zhe
DOI：
--
发表时间：
2019-06
期刊：
ArXiv
影响因子：
--
作者：
Andreas Kirsch;Joost R. van Amersfoort;Y. Gal
通讯作者：
Andreas Kirsch;Joost R. van Amersfoort;Y. Gal