CIF: Small: MoDL: Interpreting Deep-Learned Error-Correcting Codes

CIF:小型:MoDL:解释深度学习纠错码

基本信息

  • 批准号:
    2240532
  • 负责人:
  • 金额:
    $ 60万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-05-15 至 2026-04-30
  • 项目状态:
    未结题

项目摘要

The theory and development of error-correcting codes for channel coding is a field with a long and distinguished history. Enormous progress has been made through mathematical and algorithmic breakthroughs toward developing codes that approach capacity. Powerful channel codes are crucial in ensuring reliable communication for our connected society and its technological innovations. Recently, a new paradigm has emerged in the development of error-correcting codes: learn, using machine learning, the encoders or decoders in an end-to-end fashion. While it has not been easy to outperform decades of work in coding theory, some of these codes excel at practical blocklengths, some are able to achieve similar performance while offering robustness benefits, and some are able to dramatically outperform existing codes in channels with feedback. Such advances are part of a larger picture: machine learning is playing an increasingly important role in various pieces of the communication stack, particularly in the wireless domain. While deep-learned codes are explicitly given by the specific trained neural networks (often with a very large number of trained parameters), they have been met with skepticism, some of which at least stems from these deep-learned error-correcting codes being viewed as "black boxes," with little so far beyond limited experiments to demonstrate when or why they perform well. Our research will help engineers understand, interpret, and trust the performance of deep-learned error-correcting codes. This project will ultimately help intelligently and carefully integrate them into the extensive body of theoretical research as well as practical systems. Further, it will advance the use of deep learning in other scientific fields by providing tools and algorithms that will enable the new machine-learned artifacts to be interpreted and related to existing formalisms. It is important to train our next generation of data-science engineers to critically interpret and understand what their systems learn: the proposed research will do so from a new, rigorous angle enabled by the quantitative nature of error-correcting codes, with precise metrics and accurate modeling of distributions and statistics. We present a transformative research program that builds upon promising preliminary work that will lay the foundation for interpreting deep-learned error-correcting codes in a structured, formal manner. This interdisciplinary line of work merges aspects of coding and information theory, explainable artificial intelligence, deep learning, computational learning theory, optimization, system identification, and Boolean function analysis towards the following ambitious goals: 1) developing algorithmic tools for the interpretation of deep-learned error-correcting codes, 2) using these tools to understand deep-learned error-correcting codes, 3) providing a formal characterization of deep-learned error-correcting codes based on the experimental results, 4) using this to design improved deep-learned error-correcting codes, and 5) using the insights to improve traditional codes. Results obtained are expected to provide important new tools for explainable artificial intelligence in general and will allow us to broaden the research program to deep-learned codes for the network and joint source-channel coding settings.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
信道编码纠错码的理论和发展是一个有着悠久而辉煌历史的领域。通过数学和算法的突破,在开发接近容量的代码方面取得了巨大进展。强大的信道码对于确保我们的互联社会及其技术创新的可靠通信至关重要。最近,在纠错码的开发中出现了一种新的范式:使用机器学习以端到端方式学习编码器或解码器。虽然在编码理论中超越几十年的工作并不容易,但其中一些代码在实际块长度上表现出色,有些代码能够在提供鲁棒性优势的同时实现类似的性能,有些代码能够在具有反馈的通道中显着优于现有代码。这些进步是更大图景的一部分:机器学习在通信堆栈的各个部分,特别是在无线领域,发挥着越来越重要的作用。虽然深度学习代码是由特定的训练有素的神经网络明确给出的(通常具有非常大量的训练参数),但它们一直受到怀疑,其中一些至少源于这些深度学习的纠错代码被视为“黑盒子”,迄今为止除了有限的实验之外,几乎没有证明它们何时或为什么表现良好。我们的研究将帮助工程师理解、解释和信任深度学习纠错代码的性能。这个项目将最终帮助智能和仔细地将它们整合到广泛的理论研究和实践系统中。此外,它将通过提供工具和算法来促进深度学习在其他科学领域的应用,这些工具和算法将使新的机器学习工件能够被解释并与现有的形式主义相关联。培养下一代数据科学工程师批判性地解释和理解他们的系统所学习的东西是很重要的:拟议的研究将从一个新的、严格的角度来做到这一点,这是由纠错码的定量性质所支持的,具有精确的度量和准确的分布和统计建模。我们提出了一个变革性的研究项目,该项目建立在有希望的初步工作的基础上,将为以结构化、正式的方式解释深度学习的纠错代码奠定基础。这个跨学科的工作线融合了编码和信息论,可解释的人工智能,深度学习,计算学习理论,优化,系统识别和布尔函数分析的各个方面,以实现以下雄心勃勃的目标:1)开发用于解释深度学习纠错码的算法工具,2)使用这些工具来理解深度学习纠错码,3)根据实验结果提供深度学习纠错码的形式化表征,4)使用它来设计改进的深度学习纠错码,以及5)使用见解来改进传统代码。所获得的结果预计将为一般的可解释人工智能提供重要的新工具,并将使我们能够将研究计划扩展到网络和联合源信道编码设置的深度学习代码。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(2)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Decomposing the Training of Deep Learned Turbo codes via a Feasible MAP Decoder
通过可行的 MAP 解码器分解深度学习 Turbo 码的训练
  • DOI:
    10.1109/istc57237.2023.10273550
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Mulgund, A.;Devroye, N.;Turán, Gy.;Žefran, M.
  • 通讯作者:
    Žefran, M.
Interpreting Training Aspects of Deep-Learned Error-Correcting Codes
解释深度学习纠错码的训练方面
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Natasha Devroye其他文献

Interpreting Deepcode, a learned feedback code
解读 Deepcode,一种学习反馈代码
  • DOI:
    10.48550/arxiv.2404.17519
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yingyao Zhou;Natasha Devroye;György Turán;Milos Zefran
  • 通讯作者:
    Milos Zefran

Natasha Devroye的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Natasha Devroye', 18)}}的其他基金

CCF: SHF: CORE: Small: Towards Systematic Quality Control of Physically Unclonable Functions (PUFs)
CCF:SHF:CORE:小型:迈向物理不可克隆功能(PUF)的系统质量控制
  • 批准号:
    2244479
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CIF: Small: Analytically Predicting Strong PUF Responses from Few Known CRPs
CIF:小:分析预测来自少数已知 CRP 的强烈 PUF 反应
  • 批准号:
    1909547
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CIF: Small: Fundamental limits of interactive communications
CIF:小:交互式通信的基本限制
  • 批准号:
    1815428
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CIF: Medium: Delay, Reliability, Rate Tradeoffs in Wireless Broadcast Channels
CIF:中:无线广播信道中的延迟、可靠性、速率权衡
  • 批准号:
    1900911
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
EAGER: Understanding cooperation through the zero-error relay channel
EAGER:通过零差错中继通道了解合作
  • 批准号:
    1645381
  • 财政年份:
    2016
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Network Capacity when Some Common Information Theoretic Assumptions Break Down
一些常见信息论假设失效时的网络容量
  • 批准号:
    1422511
  • 财政年份:
    2014
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CIF Small Wireless Relay Networks: Coding Above Capacity and Exploiting Structure
CIF 小型无线中继网络:基于容量的编码和利用结构
  • 批准号:
    1216825
  • 财政年份:
    2013
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CAREER: Foundations of Two-Way Communication Networks
职业:双向通信网络的基础
  • 批准号:
    1053933
  • 财政年份:
    2011
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
CIF: Small: Fundamental Limits of Layered Wireless Networks
CIF:小:分层无线网络的基本限制
  • 批准号:
    1017436
  • 财政年份:
    2010
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CSR: Small: Leveraging Physical Side-Channels for Good
CSR:小:利用物理侧通道做好事
  • 批准号:
    2312089
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Small: NSF-DST: Modernizing Underground Mining Operations with Millimeter-Wave Imaging and Networking
NeTS:小型:NSF-DST:利用毫米波成像和网络实现地下采矿作业现代化
  • 批准号:
    2342833
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CPS: Small: NSF-DST: Autonomous Operations of Multi-UAV Uncrewed Aerial Systems using Onboard Sensing to Monitor and Track Natural Disaster Events
CPS:小型:NSF-DST:使用机载传感监测和跟踪自然灾害事件的多无人机无人航空系统自主操作
  • 批准号:
    2343062
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Reservoir Computing with Ion-Channel-Based Memristors
合作研究:FET:小型:基于离子通道忆阻器的储层计算
  • 批准号:
    2403559
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
オミックス解析を用いたブドウ球菌 small colony variants の包括的特徴づけ
使用组学分析全面表征葡萄球菌小菌落变体
  • 批准号:
    24K13443
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
AF: Small: Problems in Algorithmic Game Theory for Online Markets
AF:小:在线市场的算法博弈论问题
  • 批准号:
    2332922
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Small: ML-Driven Online Traffic Analysis at Multi-Terabit Line Rates
NeTS:小型:ML 驱动的多太比特线路速率在线流量分析
  • 批准号:
    2331111
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331302
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331301
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了