HyperSight: Towards Scalable, High-Coverage, and Dynamic Network Monitoring Queries
HyperSight: Towards Scalable, High-Coverage, and Dynamic Network Monitoring Queries
复制标题
HyperSight：实现可扩展、高覆盖率和动态网络监控查询
DOI：
10.1109/jsac.2020.2986690
复制
发表时间：
2020-04
影响因子：
16.4
通讯作者：
Cheng Zhang
中科院分区：
文献类型：
--
作者：
Yu Zhou;Jun Bi;Tong Yang;Kai Gao;Jiamin Cao;Dai Zhang;Yangyang Wang;Cheng Zhang
执行细粒度和实时的网络监控是各种数据中心运营应用的核心逻辑，例如流量工程，网络故障排除和异常检测。然而，现有技术的网络监控解决方案要么达不到完全检测所有网络事件（即，拥塞），从而产生有限的监控覆盖，或者引入大的开销，从而产生有限的可扩展性。在本文中，我们提出了HyperSight，一个网络流量监测与高覆盖率和低开销。HyperSight的核心思想是通过跟踪数据包的行为变化来监控网络的行为。HyperSight提出了三种行为级监控设计。首先，为了便于表达各种网络监控任务，HyperSight提出了一种基于流处理模型的声明式查询语言。其次，HyperSight提出了Bloom Filter Queue（BFQ），这是一种内存高效的算法，可以增强网络内监控数据包行为变化的能力。BFQ可以在商用可编程交换机上实现。第三，为了在不中断服务交换机的情况下支持动态部署和执行数据包行为变化监控任务，HyperSight提出了虚拟BFQ来支持动态查询编译。我们构建了一个HyperSight原型，并将其部署在商用可编程交换机上。测试结果表明，HyperSight支持广泛的网络事件查询，可以监控超过99%的数据包行为变化，同时保持非常低的开销。
Performing fine-grained and real-time network monitoring is the core logic of various data center operation applications, such as traffic engineering, network troubleshooting, and anomaly detecting. However, the state-of-the-art network monitoring solutions either fall short of completely detecting all network incidents (i.e., congestion), yielding limited monitoring coverage, or introduce large overheads, yielding limited scalability. In this paper, we present HyperSight, a network traffic monitor with both high coverage and low overheads. The key idea of HyperSight is to monitor networks at the behavior level via tracking packet behavior changes. HyperSight proposes three designs for behavior-level monitoring. First, to facilitate expressing various network monitoring tasks, HyperSight presents a declarative query language based on the streaming processing model. Second, HyperSight proposes Bloom Filter Queue (BFQ), a memory-efficient algorithm to empower in-network capability for monitoring packet behavior changes. BFQ can be implemented on commodity programmable switches. Third, to support dynamic deployment and execution of packet behavior change monitoring tasks without interrupting on-service switches, HyperSight proposes virtual BFQ to support dynamic query compilation. We build a prototype of HyperSight and deploy it on commodity programmable switches. Evaluation results show that HyperSight supports a wide range of network event queries and can monitor over 99% packet behavior changes while keeping remarkably low overheads.
登录
查看更多内容
DOI：
10.1007/978-981-13-2315-7_6
发表时间：
2018-08
期刊：
Approaches to Entropy
影响因子：
--
作者：
Jeremy R. H. Tame
通讯作者：
Jeremy R. H. Tame
DOI：
--
发表时间：
2013-04
期刊：
--
影响因子：
--
作者：
Minlan Yu;Lavanya Jose;Rui Miao
通讯作者：
Minlan Yu;Lavanya Jose;Rui Miao
DOI：
10.17487/rfc3954
发表时间：
2004-10
期刊：
RFC
影响因子：
--
作者：
B. Claise
通讯作者：
B. Claise
DOI：
10.1145/2999572.2999609
发表时间：
2016-12
期刊：
Proceedings of the 12th International on Conference on emerging Networking EXperiments and Technologies
影响因子：
--
作者：
Yuliang Li;Rui Miao;Changhoon Kim;Minlan Yu
通讯作者：
Yuliang Li;Rui Miao;Changhoon Kim;Minlan Yu
DOI：
10.1109/90.330413
发表时间：
1994-08
期刊：
IEEE/ACM Trans. Netw.
影响因子：
--
作者：
V. Paxson
通讯作者：
V. Paxson