Distributed Simulation and Distributed Inference
Distributed Simulation and Distributed Inference
复制标题
分布式仿真和分布式推理
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Himanshu Tyagi
中科院分区：
文献类型：
--
作者：
Jayadev Acharya;C. Canonne;Himanshu Tyagi
大小$ k $的域中，来自未知概率分布$ \ bf p $的独立样本分布在$ n $ players上，每个播放器都持有一个样本。每个玩家都可以通过同时消息传递通信模型来将$ \ ell $ bits传达给中央裁判，以帮助裁判推断出未知$ \ bf p $的属性。 $ \ ell <\ log k $的通信饥饿设置中所需的推理最少的玩家数量是多少？首先，我们探索了一种通用的“模拟和侵入”策略，以在中心模拟未知分布中所需数量的样本数量并应用标准推理算法中的一般“模拟和侵入”策略开始。我们的第一个结果表明，对于$ \ ell <\ log k $，即使是单个样本的完美模拟也是不可能的。但是，我们提出了一种拉斯维加斯算法，该算法使用$ o（k/2^\ ell）$样本中的$ o（k/2^\ ell）$样本模拟单个样本。作为即时推论，我们得到模拟和侵入达到$ \ theta（k^2/2^\ ell \ epsilon^2）$的最佳样本复杂性，用于学习未知的分布到总变化距离$ \ epsilon $ 。对于身份测试的典型测试问题，模拟和提交与$ O（k^{3/2}/2^\ ell \ epsilon^2）$样本一起工作，这一要求似乎是所有通信协议固有的不使用任何其他资源。有趣的是，我们可以使用公共硬币打破这一障碍。具体来说，我们展示了一种公共通信协议，该协议使用$ O（k/\ sqrt {2^\ ell} \ epsilon^2）$样本执行身份测试。此外，我们证明这是最佳的恒定因素。在实践中，我们的理论上样本最佳协议易于实现。我们的下限证明需要显示$ \ chi^2 $由于通信约束而产生的收缩，并且可能具有独立的兴趣。
Independent samples from an unknown probability distribution $\bf p$ on a domain of size $k$ are distributed across $n$ players, with each player holding one sample. Each player can communicate $\ell$ bits to a central referee in a simultaneous message passing model of communication to help the referee infer a property of the unknown $\bf p$. What is the least number of players for inference required in the communication-starved setting of $\ell<\log k$? We begin by exploring a general "simulate-and-infer" strategy for such inference problems where the center simulates the desired number of samples from the unknown distribution and applies standard inference algorithms for the collocated setting. Our first result shows that for $\ell<\log k$ perfect simulation of even a single sample is not possible. Nonetheless, we present a Las Vegas algorithm that simulates a single sample from the unknown distribution using $O(k/2^\ell)$ samples in expectation. As an immediate corollary, we get that simulate-and-infer attains the optimal sample complexity of $\Theta(k^2/2^\ell\epsilon^2)$ for learning the unknown distribution to total variation distance $\epsilon$. For the prototypical testing problem of identity testing, simulate-and-infer works with $O(k^{3/2}/2^\ell\epsilon^2)$ samples, a requirement that seems to be inherent for all communication protocols not using any additional resources. Interestingly, we can break this barrier using public coins. Specifically, we exhibit a public-coin communication protocol that performs identity testing using $O(k/\sqrt{2^\ell}\epsilon^2)$ samples. Furthermore, we show that this is optimal up to constant factors. Our theoretically sample-optimal protocol is easy to implement in practice. Our proof of lower bound entails showing a contraction in $\chi^2$ distance of product distributions due to communication constraints and may be of independent interest.
DOI：
--
发表时间：
2018
期刊：
and Automata
影响因子：
--
作者：
Diakonikolas, Ilias;Gouleakis, Themis;Peebles, John;Price, Eric
通讯作者：
Price, Eric
DOI：
--
发表时间：
2017
期刊：
--
影响因子：
--
作者：
Ilias Diakonikolas;Elena Grigorescu;Jerry Li;Abhiram Natarajan;Krzysztof Onak;Ludwig Schmidt
通讯作者：
Ilias Diakonikolas;Elena Grigorescu;Jerry Li;Abhiram Natarajan;Krzysztof Onak;Ludwig Schmidt
影响因子：
0.7
作者：
Watson, Thomas
通讯作者：
Watson, Thomas