Robust Multi-Agent Bandits Over Undirected Graphs
Robust Multi-Agent Bandits Over Undirected Graphs
复制标题
无向图上的鲁棒多智能体强盗
DOI：
10.1145/3570614
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Srikant, R.
中科院分区：
文献类型：
--
作者：
Vial, Daniel;Shakkottai, Sanjay;Srikant, R.
我们考虑了一个多智能体多臂强盗设置，其中诚实的智能体在网络上合作以最小化遗憾，但恶意的智能体可以任意破坏学习。假设网络是完全图，在这种设置下，现有算法会产生O（（m + K/n） łog (T) / Δ）的遗憾，其中kis为臂的数量，Δ为臂的间隙。对于m łl K，这比单代理基线后悔0 （Kłog(T)/Δ）有所改善。在这项工作中，我们展示了在完全图的情况下，情况更加模糊。特别是，我们证明了如果在无向线图上使用最先进的算法，诚实的代理可能会遭受（几乎）线性后悔，直到时间是双指数inKandn。鉴于这一负面结果，我们提出了一种新的算法，其中他们的代理在任何连通和无向图上都有遗憾O(（dmal（i) + K/n） łog(T)/Δ），其中dmal(i)是恶意邻居的数量。因此，我们将现有的遗憾边界推广到完全图（其中dmal(i) = m）之外，并显示恶意代理的影响完全是局部的（从某种意义上说，只有dmal(i)个恶意代理直接连接到影响其长期遗憾）。
We consider a multi-agent multi-armed bandit setting in whichnhonest agents collaborate over a network to minimize regret butmmalicious agents can disrupt learning arbitrarily. Assuming the network is the complete graph, existing algorithms incur O((m + K/n) łog (T) / Δ ) regret in this setting, whereKis the number of arms and Δ is the arm gap. For m łl K, this improves over the single-agent baseline regret of O(Kłog(T)/Δ). In this work, we show the situation is murkier beyond the case of a complete graph. In particular, we prove that if the state-of-the-art algorithm is used on the undirected line graph, honest agents can suffer (nearly) linear regret until time is doubly exponential inKandn. In light of this negative result, we propose a new algorithm for which thei-th agent has regret O(( dmal (i) + K/n) łog(T)/Δ) on any connected and undirected graph, where dmal(i) is the number ofi's neighbors who are malicious. Thus, we generalize existing regret bounds beyond the complete graph (where dmal(i) = m), and show the effect of malicious agents is entirely local (in the sense that only the dmal (i) malicious agents directly connected toiaffect its long-term regret).
多代理多武装强盗中的社会学习
DOI：
10.1145/3393691.3394217
发表时间：
2019
期刊：
Proceedings of the ACM on Measurement and Analysis of Computing Systems
影响因子：
--
作者：
Sankararaman, Abishek;Ganesh, Ayalvadi;Shakkottai, Sanjay
通讯作者：
Shakkottai, Sanjay