CIF: Small: Collaborative Research:Synchronization and Deduplication of Distributed Coded Data: Fundamental Limits and Algorithms
CIF:小型:协作研究:分布式编码数据的同步和重复数据删除:基本限制和算法
基本信息
- 批准号:1527130
- 负责人:
- 金额:$ 15万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2015
- 资助国家:美国
- 起止时间:2015-07-01 至 2019-06-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Part 1: Coding for distributed storage systems has garnered significant attention in the past few years due to the rapid development of information technologies and the emergence of Big Data formats that need to be stored and disseminated across large-scale networks. As typical distributed systems need to ensure low-latency data access and store a large number of files over a set of nodes connected through a communication network, it is imperative to develop new distributed coding schemes that protect the systems from undesired component failures. The two key functionalities of codes used in distributed systems, namely the reconstruction of files via access to a subset of the nodes and repair of failed nodes, need to be retained when the files are accessed and processed by the users via symbol/block insertion, deletion, or substitution edits. Deletions frequently arise due to system-level data deduplication: when parts of files are deduplicated or edited, the changes in the information content need to be communicated to the redundant storage nodes with minimum communication cost. Current solutions for synchronizing data that underwent edits assume that data is uncoded and they do not fully exploit the distributed nature of information. Furthermore, they mostly ignore the presence of deduplication protocols. This makes distributed storage architectures inefficient in terms of storage, user access times, and error protection. Hence, the goals of the proposed research program are to develop a new set of protocols and coding schemes that will support a new generation of versatile and updatable coded distributed storage systems. Part 2: Building on the preliminary work of the investigators, this proposal aims to set the foundations of the new field of coded synchronization and deduplication, with the goal of deriving fundamental performance limits, developing efficient algorithmic solutions for the two families of problems, and constructing new distributed storage codes that enable synchronization of coded data and coded deduplication. In particular, the proposal addresses the following comprehensive issues: 1) Characterizing the communication rate limits of known and new (un)coded synchronization schemes, trade-offs between deduplication and data repair performance for different structured or encoded data formats and different types of communication channels.2) Introducing and analyzing the communication rate-distortion (CRD) function for approximate synchronization and deduplication of structured/encoded data, with a special focus on delay-sensitive applications.3) Developing dynamically updatable synchronization and deduplication algorithms cognizant of the network topology and of different prioritization needs of the users, as encountered in image and video data coding.
第一部分:在过去的几年中,由于信息技术的快速发展以及需要在大规模网络中存储和传播的大数据格式的出现,分布式存储系统的编码已经引起了人们的极大关注。由于典型的分布式系统需要确保低延迟的数据访问和存储大量的文件通过一组节点连接通过通信网络,它是必要的,以保护系统不受不希望的组件故障的新的分布式编码方案。在分布式系统中使用的代码的两个关键功能,即通过访问节点的子集和修复故障节点来重建文件,需要在用户通过符号/块插入、删除或替换编辑来访问和处理文件时保留。由于系统级重复数据删除,删除经常出现:当部分文件被删除或编辑时,信息内容的更改需要以最小的通信成本传送到冗余存储节点。用于同步经历编辑的数据的当前解决方案假定数据是未编码的,并且它们没有充分利用信息的分布式性质。此外,它们大多忽略了重复数据删除协议的存在。这使得分布式存储架构在存储、用户访问时间和错误保护方面效率低下。因此,拟议的研究计划的目标是开发一套新的协议和编码方案,将支持新一代的通用和可更新的编码分布式存储系统。第二部分:在调查人员初步工作的基础上,该提案旨在为编码同步和重复数据删除的新领域奠定基础,其目标是获得基本性能限制,为两个问题家族开发有效的算法解决方案,并构建新的分布式存储代码,使编码数据和编码重复数据删除同步。该提案特别涉及以下综合问题:1)表征已知和新的(未)编码同步方案的通信速率极限,针对不同的结构化或编码数据格式以及不同类型的通信信道,在重复数据删除和数据修复性能之间进行权衡。2)介绍并分析用于结构化/编码数据格式的近似同步和重复数据删除的通信速率失真(CRD)函数,3)开发动态可更新的同步和重复数据删除算法,该算法认识到网络拓扑和用户的不同优先级需求,如在图像和视频数据编码中遇到的。
项目成果
期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Data deduplication with edit errors
具有编辑错误的重复数据删除
- DOI:
- 发表时间:2018
- 期刊:
- 影响因子:0
- 作者:Conde-Canencia, Laura;Condie, Tyson;Dolecek, Lara
- 通讯作者:Dolecek, Lara
An Interactive Algorithm for Synchronizing from Burst Deletions
一种用于突发删除同步的交互式算法
- DOI:
- 发表时间:2018
- 期刊:
- 影响因子:0
- 作者:Jiang, Shuyang;Schoeny, Clayton;Dolecek, Lara
- 通讯作者:Dolecek, Lara
Theoretical Bounds and Constructions of Codes in the Generalized Cayley Metric
- DOI:10.1109/tit.2019.2899868
- 发表时间:2018-03
- 期刊:
- 影响因子:2.5
- 作者:Siyi Yang;Clayton Schoeny;L. Dolecek
- 通讯作者:Siyi Yang;Clayton Schoeny;L. Dolecek
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Lara Dolecek其他文献
Block-MDS QC-LDPC Codes for Information Reconciliation in Key Distribution
用于密钥分配中信息协调的块 MDS QC-LDPC 码
- DOI:
10.48550/arxiv.2403.00192 - 发表时间:
2024 - 期刊:
- 影响因子:0
- 作者:
Lev Tauz;Debarnab Mitra;Jayanth Shreekumar;M. Sarihan;Chee Wei Wong;Lara Dolecek - 通讯作者:
Lara Dolecek
Texture Chromeleon - A Toolkit for Quick and Rich Electrovibration Texture Rendering
纹理 Chromeleon - 用于快速且丰富的电振动纹理渲染的工具包
- DOI:
- 发表时间:
2022 - 期刊:
- 影响因子:0
- 作者:
Professor Trevor Cai;Yang Zhang;Ankur Mehta;Sergio Carbajo;Brittany Lu;Tiffany Chang;Sanjay Mohanty;Wendy Chau;Megan Chen;Professor Lev Tauz;Lara Dolecek;Kenneth Chu;Swetha Palakur;Boliang Wu;Ke Sheng;Lihua Jin;Thomas Chu;A. Graening;Puneet Gupta;Nicola Conta;Angela Duran;Kunal Kulkarni;Melissa Cruz;Alex Deal;Mark Diamond;Andrew Krupien;Shawn Mosharaf;K. Arisaka;Results Kunal;Kulkarni;C. Eisler;Mounika Dudala;Daniel Katz;Leonna Gaither;Nader Sehatbakhsh;Justin Feng;Timothy Jacques;Chandrashekhar J. Joshi;S. Tochitsky;D. Matteo;Lana Lim;Jason Speyer;Nat Snyder;R. Wesel;Linfang Wang;V. Prabhu;Shamik Sarkar;D. Cabric;Katherine Sohn;Benjamin A. Pound;Rob Candler;Robert Yang;Jyotirmoy Mandal;A. Raman - 通讯作者:
A. Raman
Lara Dolecek的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Lara Dolecek', 18)}}的其他基金
Collaborative Research: CIF: Small: Versatile Data Synchronization: Novel Codes and Algorithms for Practical Applications
合作研究:CIF:小型:多功能数据同步:实际应用的新颖代码和算法
- 批准号:
2312872 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
NSF-BSF:CIF:Small:Reliable Data Storage on Sampling Channels
NSF-BSF:CIF:Small:采样通道上的可靠数据存储
- 批准号:
2330309 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: FET: Small: Towards full photon utilization by adaptive modulation and coding on quantum links
合作研究:FET:小型:通过量子链路上的自适应调制和编码实现光子的充分利用
- 批准号:
2008728 - 财政年份:2020
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
CCF-BSF:CIF: Small: Coding for Fast Storage Access and In-Memory Computing
CCF-BSF:CIF:小型:快速存储访问和内存计算的编码
- 批准号:
1718389 - 财政年份:2017
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
CIF: Medium: Collaborative Research: Spatially Coupled Sparse Codes on Graphs - Theory, Practice, and Extensions
CIF:媒介:协作研究:图上的空间耦合稀疏代码 - 理论、实践和扩展
- 批准号:
1161798 - 财政年份:2012
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
CAREER: Channel Coding Paradigms for Next-Generation Storage Systems
职业:下一代存储系统的通道编码范例
- 批准号:
1150212 - 财政年份:2012
- 资助金额:
$ 15万 - 项目类别:
Continuing Grant
相似国自然基金
紫草素通过METTL3/RBM15调控STING的m6A修饰协同PD-1抑制剂抗非小细胞肺癌免疫耐药的作用和机制研究
- 批准号:MS25H280040
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
多模态遥感数据信息协同的海上小目标
识别方法研究
- 批准号:
- 批准年份:2025
- 资助金额:10.0 万元
- 项目类别:省市级项目
“ 一老一小”服务联合体体制机制创新研究
- 批准号:
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于大-小模型融合的多智能体自适应导学关键技术研究
- 批准号:JCZRQN202500516
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
SNHG17通过双重机制协同调控Hippo/YAP信号促进非小细胞肺癌恶性进展的作用及机制研究
- 批准号:MS25H160123
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
可编程的智能响应型“DNA纳米机器人”核酸自组装递释系统用于小激活RNA疗法和化疗协同抗肿瘤
- 批准号:2024Y9099
- 批准年份:2024
- 资助金额:15.0 万元
- 项目类别:省市级项目
江汉平原小微湿地功能优化提升多元协同技术研究与应用
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
小微企业金融科技借贷的产品创新与普惠机理:票税数据与传统征信的数据协同视角
- 批准号:
- 批准年份:2024
- 资助金额:万元
- 项目类别:青年科学基金项目
血管穿透肽功能化外泌体介导眼铂和PD-L1抑制剂递送对非小细胞肺癌的协同治疗
- 批准号:
- 批准年份:2024
- 资助金额:0 万元
- 项目类别:地区科学基金项目
基于色氨酸“肠-脑”代谢网络平衡的逍遥散“多糖-小分子”协同改善肝郁脾虚型抑郁症的作用模式研究
- 批准号:
- 批准年份:2024
- 资助金额:15.0 万元
- 项目类别:省市级项目
相似海外基金
Collaborative Research: CIF: Small: Mathematical and Algorithmic Foundations of Multi-Task Learning
协作研究:CIF:小型:多任务学习的数学和算法基础
- 批准号:
2343599 - 财政年份:2024
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Mathematical and Algorithmic Foundations of Multi-Task Learning
协作研究:CIF:小型:多任务学习的数学和算法基础
- 批准号:
2343600 - 财政年份:2024
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: NSF-AoF: CIF: Small: AI-assisted Waveform and Beamforming Design for Integrated Sensing and Communication
合作研究:NSF-AoF:CIF:小型:用于集成传感和通信的人工智能辅助波形和波束成形设计
- 批准号:
2326622 - 财政年份:2024
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: NSF-AoF: CIF: Small: AI-assisted Waveform and Beamforming Design for Integrated Sensing and Communication
合作研究:NSF-AoF:CIF:小型:用于集成传感和通信的人工智能辅助波形和波束成形设计
- 批准号:
2326621 - 财政年份:2024
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Versatile Data Synchronization: Novel Codes and Algorithms for Practical Applications
合作研究:CIF:小型:多功能数据同步:实际应用的新颖代码和算法
- 批准号:
2312872 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Maximizing Coding Gain in Coded Computing
协作研究:CIF:小型:最大化编码计算中的编码增益
- 批准号:
2327509 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Designing Plotkin Transform Codes via Machine Learning
协作研究:CIF:小型:通过机器学习设计 Plotkin 转换代码
- 批准号:
2312753 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Theory for Learning Lossless and Lossy Coding
协作研究:CIF:小型:学习无损和有损编码的理论
- 批准号:
2324396 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Hypergraph Signal Processing and Networks via t-Product Decompositions
合作研究:CIF:小型:通过 t 产品分解的超图信号处理和网络
- 批准号:
2230161 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: New Theory, Algorithms and Applications for Large-Scale Bilevel Optimization
合作研究:CIF:小型:大规模双层优化的新理论、算法和应用
- 批准号:
2311274 - 财政年份:2023
- 资助金额:
$ 15万 - 项目类别:
Standard Grant