课题基金基金详情
流式大数据处理的网络性能优化研究
结题报告
批准号:
61772305
项目类别:
面上项目
资助金额:
70.0 万元
负责人:
李丹
依托单位:
学科分类:
F0207.计算机网络
结题年份:
2021
批准年份:
2017
项目状态:
已结题
项目参与者:
李峻峰、王松涛、程阳、林督、耿金坤、商占仝、刘莉莉、黄昱恺、令瑞林
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
流式大数据的处理需要很高的网络性能,包括高吞吐率和低延迟。而传统基于Linux内核操作系统的协议栈很难达到1Gbps以上的吞吐率,而服务器之间基于TCP的传输协议也难以克服延迟高的缺点。在本项目中我们研究如何基于新型硬件,包括多核CPU和100G网卡,通过软件系统的改善来支持100G流式大数据的高速网络性能。包括两个方面。一是研究基于轮询IO的用户态通用网络操作系统。通过在用户态实现网络操作系统,实现单台服务器100Gbps以上处理能力的同时,保证对应用程序的良好兼容性。二是研究基于部分编码的流式大数据传输协议。通过对FEC编码的改进以更好地支持流式大数据中数据不断到达的特点,来实现不需要重传的传输协议,大大降低服务器之间的网络传输延迟。
英文摘要
The processing of steam big data requires very high network performance, including high throughput and low latency. Traditional linux kernel based operating system can hardly support more than 1Gbps throughput, while TCP based transport protocols between servers have fundamental drawbacks in unpredictable high latency. In this project we will study how to support 100Gbps steam big data processing based on software enhancement, which builds on the emerging high performance hardware, including multi-core CPU and 100G NIC. It has two aspects. First, we will study polling IO based user-level general network operating system. By realizing network operating system on user level, we will achieve 100Gbps processing capability on a single server for stream big data. Meanwhile, we will guarantee high compatibility for legacy applications. Second, we will study partial-coding based transport protocol for stream big data. By improving FEC codes to embrace the characteristic of steam big data, we will realize high-performance transport protocol without retransmission, which will significantly reduce the transport latency between servers.
流式大数据的处理需要很高的网络性能,包括高吞吐率和低延迟。而传统基于Linux内核操作系统的协议栈很难达到1Gbps以上的吞吐率,而服务器之间基于TCP的传输协议也难以克服延迟高的缺点。在本项目中我们研究如何基于新型硬件,包括多核CPU和100G网卡,通过软件系统的改善来支持100G流式大数据的高速网络性能。包括两个方面。一是研究基于轮询IO的用户态通用网络操作系统。通过在用户态实现网络操作系统,实现单台服务器100Gbps以上处理能力的同时,保证对应用程序的良好兼容性。二是研究基于部分编码的流式大数据传输协议。通过对FEC编码的改进以更好地支持流式大数据中数据不断到达的特点,来实现不需要重传的传输协议,大大降低服务器之间的网络传输延迟。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2021
期刊:北京邮电大学学报
影响因子:--
作者:Junfeng Li;Dan Li;Yukai Huang;Yang Cheng;Ruilin Ling
通讯作者:Ruilin Ling
Accelerating End-to-End Deep Learning Workflow With Codesign of Data Preprocessing and Scheduling
通过数据预处理和调度的协同设计加速端到端深度学习工作流程
DOI:10.1109/tpds.2020.3047966
发表时间:2021-07-01
期刊:IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS
影响因子:5.3
作者:Cheng, Yang;Li, Dan;Xiong, Yongqiang
通讯作者:Xiong, Yongqiang
Sphinx: A Transport Protocol for High-Speed and Lossy Mobile Networks
Sphinx:高速有损移动网络的传输协议
DOI:10.1109/ipccc47392.2019.8958769
发表时间:2019-10
期刊:Elsevier Computer Networks
影响因子:--
作者:Junfeng Li;Dan Li;Wenfei Wu;K.K.Ramakrishnan;Jinkun Geng;Fanzhao Wang;Kai Zheng
通讯作者:Kai Zheng
DOI:10.1109/tnet.2021.3117042
发表时间:2022-04
期刊:IEEE/ACM TRANSACTIONS ON NETWORKING
影响因子:--
作者:Shuai Wang;Jinkun Geng;Dan Li
通讯作者:Dan Li
Towards Full Virtualization of SDN Infrastructure
迈向SDN基础设施的完全虚拟化
DOI:10.1016/j.comnet.2018.06.014
发表时间:2018-10
期刊:Elsevier Computer Networks
影响因子:--
作者:Junfeng Li;Dan Li;Yirong Yu;Yukai Huang;Jing Zhu;Jinkun Geng
通讯作者:Jinkun Geng
注册制改革对资本市场的溢出效应研究
  • 批准号:
    U21B2022
  • 项目类别:
    面上项目
  • 资助金额:
    48万元
  • 批准年份:
    2021
  • 负责人:
    李丹
  • 依托单位:
基于带内遥测的超大规模数据中心网络架构研究与性能优化
  • 批准号:
    U21B2022
  • 项目类别:
    联合基金项目
  • 资助金额:
    258万元
  • 批准年份:
    2021
  • 负责人:
    李丹
  • 依托单位:
SLAM家族受体调控抗肿瘤免疫的机制研究
  • 批准号:
    --
  • 项目类别:
    --
  • 资助金额:
    30万元
  • 批准年份:
    2021
  • 负责人:
    李丹
  • 依托单位:
新审计报告的经济影响研究
  • 批准号:
    71772105
  • 项目类别:
    面上项目
  • 资助金额:
    48.0万元
  • 批准年份:
    2017
  • 负责人:
    李丹
  • 依托单位:
同核和异核碱金属双原子分子超精细结构及其光谱研究
  • 批准号:
    11604177
  • 项目类别:
    青年科学基金项目
  • 资助金额:
    24.0万元
  • 批准年份:
    2016
  • 负责人:
    李丹
  • 依托单位:
赴美上市的中国公司会计师事务所选择及其后果研究
  • 批准号:
    71402081
  • 项目类别:
    青年科学基金项目
  • 资助金额:
    23.0万元
  • 批准年份:
    2014
  • 负责人:
    李丹
  • 依托单位:
异构可扩展数据中心网络体系结构研究
  • 批准号:
    61170291
  • 项目类别:
    面上项目
  • 资助金额:
    58.0万元
  • 批准年份:
    2011
  • 负责人:
    李丹
  • 依托单位:
再生水系统中VBNC(Viable but nonculturable)病原菌复活机制与控制方法研究
  • 批准号:
    51178242
  • 项目类别:
    面上项目
  • 资助金额:
    61.0万元
  • 批准年份:
    2011
  • 负责人:
    李丹
  • 依托单位:
国内基金
海外基金