TSEC: A Framework for Online Experimentation under Experimental Constraints
TSEC: A Framework for Online Experimentation under Experimental Constraints
复制标题
TSEC：实验约束下的在线实验框架
DOI：
10.1080/00401706.2022.2125443
复制
发表时间：
2022
期刊：
影响因子：
2.5
通讯作者：
Wu, C. F.
中科院分区：
文献类型：
--
作者：
Mak, Simon;Zhao, Yuanshuo;Hoang, Lavonne;Wu, C. F.
Thompson抽样是解决多臂盗贼问题的一种流行算法，已被广泛应用于从网站设计到投资组合优化等领域。然而，在这样的应用中，选择(或手臂)的数量可能很大，做出适应性决策所需的数据需要昂贵的实验。然后，人们面临着在每个时间段内只在一小部分武器上进行实验的限制，这给传统的汤普森抽样带来了问题。我们提出了一种新的实验约束下的Thompson抽样(TSEC)方法，解决了这种所谓的“ARM预算约束”问题。TSEC利用具有效果层次先验的贝叶斯交互模型来建模不同手臂上的奖励之间的相关性。然后，将该拟合模型集成到汤普森抽样中，以共同确定用于实验的良好的武器子集，并在这些武器上分配资源。在ARM预算受限的两个应用中，我们展示了TSEC的有效性。第一个是模拟的网站优化研究，其中TSEC显示出比行业基准有相当大的改进。第二个是基于行业的交易所交易基金的投资组合优化应用程序，与标准投资策略相比，TSEC提供了更一致和更大的财富积累。
Thompson sampling is a popular algorithm for tackling multi-armed bandit problems, and has been applied in a wide range of applications, from website design to portfolio optimization. In such applications, however, the number of choices (or arms)Ncan be large, and the data needed to make adaptive decisions require expensive experimentation. One is then faced with the constraint of experimenting on only a small subset ofarms within each time period, which poses a problem for traditional Thompson sampling. We propose a new Thompson Sampling under Experimental Constraints (TSEC) method, which addresses this so-called “arm budget constraint.” TSEC makes use of a Bayesian interaction model with effect hierarchy priors, to model correlations between rewards on different arms. This fitted model is then integrated within Thompson sampling, to jointly identify a good subset of arms for experimentation and to allocate resources over these arms. We demonstrate the effectiveness of TSEC in two applications with arm budget constraints. The first is a simulated website optimization study, where TSEC shows considerable improvements over industry benchmarks. The second is a portfolio optimization application on industry-based exchange-traded funds, where TSEC provides more consistent and greater wealth accumulation over standard investment strategies.
登录
查看更多内容
DOI：
--
发表时间：
2014-11
期刊：
ArXiv
影响因子：
--
作者：
Tor Lattimore;R. Munos
通讯作者：
Tor Lattimore;R. Munos
DOI：
--
发表时间：
2006-12
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Eyal Even-Dar;Shie Mannor;Y. Mansour
通讯作者：
Eyal Even-Dar;Shie Mannor;Y. Mansour
DOI：
10.1145/1273496.1273587
发表时间：
2007-06
期刊：
--
影响因子：
--
作者：
Sandeep Pandey;Deepayan Chakrabarti;D. Agarwal
通讯作者：
Sandeep Pandey;Deepayan Chakrabarti;D. Agarwal
影响因子：
2.5
作者：
Jason L. Loeppky
通讯作者：
Jason L. Loeppky
影响因子：
4.8
作者：
Domingo, C;Gavaldà, R;Watanabe, O
通讯作者：
Watanabe, O