CIF: Small: Information Theory Meets Deep Learning: Universal Probability and Common Information for High-Dimensional Data
CIF:小:信息论遇见深度学习:高维数据的普遍概率和公共信息
基本信息
- 批准号:1911238
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2019
- 资助国家:美国
- 起止时间:2019-07-15 至 2022-06-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Information theory is a scientific discipline that studies how well we can communicate, compress, and otherwise process various signals and data. Over the past 70 years, the tenets of information theory have driven the digital transformation of our daily lives, with ubiquitous and reliable communication of 0s and 1s over wireless networks as an indispensable operation in diverse public and private enterprises. Beyond such "bits," however, conventional methods in information theory often encounter several limitations when dealing with real-world data of multiple dimensions, large alphabets, and complex spatial dependence. This project aims to develop new mathematical tools and engineering techniques for handling such complicated real-world data by incorporating deep learning into the tenets of information theory. In this synergistic combination, information theory provides performance guarantees and a systematic decomposition of complex problems. Deep learning, in turn, provides working procedures for efficient processing of high-dimensional data.This project explores two concrete research directions in which the combination prompts new data science frameworks. The first direction builds on the notion of universal probability, which is a close proxy to the unknown distribution of the data. Although conventional algorithms based on universal probability converge rather slowly for high-dimensional, large alphabet, long-range dependent data, the proposed framework leverages deep neural networks to efficiently learn the universal probability distribution across multiple data contexts by aggregating them smoothly. The resulting combination of information theory and deep learning provides a new paradigm to address general data science problems in a principled yet pragmatic manner, with theoretical performance guarantees and practical performance improvements. The second direction is inspired by the notion of common information in information theory, and develops a new neural network model for statistical inference among multiple high-dimensional data sets (for example, drawing a picture automatically that describes a given text the best). This model and associated training algorithms can be applied to various data processing tasks such as joint and conditional generation as well as supervised or semisupervised learning of high-dimensional output data.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
信息论是一门科学学科,它研究我们如何能够很好地沟通,压缩和处理各种信号和数据。在过去的70年里,信息理论的原则推动了我们日常生活的数字化转型,通过无线网络进行无处不在的可靠的0和1通信是各种公共和私营企业不可或缺的操作。然而,除了这些“比特”之外,信息论中的传统方法在处理多维、大字母和复杂空间依赖的真实世界数据时经常遇到一些限制。该项目旨在开发新的数学工具和工程技术,通过将深度学习纳入信息论的原则来处理如此复杂的现实世界数据。在这种协同组合中,信息理论提供了性能保证和复杂问题的系统分解。反过来,深度学习为高效处理高维数据提供了工作程序。该项目探索了两个具体的研究方向,其中结合提出了新的数据科学框架。第一个方向建立在普适概率的概念上,这是数据未知分布的密切代理。尽管基于普适概率的传统算法对于高维、大字母表、长距离相关数据收敛得相当慢,但所提出的框架利用深度神经网络,通过平滑地聚合它们来有效地学习多个数据上下文的普适概率分布。由此产生的信息理论和深度学习的结合提供了一种新的范式,以原则性但务实的方式解决一般数据科学问题,并具有理论性能保证和实际性能改进。第二个方向受到信息论中公共信息概念的启发,并开发了一种新的神经网络模型,用于多个高维数据集之间的统计推断(例如,自动绘制一张最好地描述给定文本的图片)。该模型和相关的训练算法可应用于各种数据处理任务,如联合和条件生成以及高维输出数据的监督或半监督学习。该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Young-Han Kim其他文献
Capacity of a Class of Deterministic Relay Channels
- DOI:
10.1109/isit.2007.4557289 - 发表时间:
2006-11 - 期刊:
- 影响因子:0
- 作者:
Young-Han Kim - 通讯作者:
Young-Han Kim
The international policy coordination to reduce the financial volatility in north East Asia
- DOI:
10.1080/12265089908449776 - 发表时间:
1999 - 期刊:
- 影响因子:1.7
- 作者:
Young-Han Kim - 通讯作者:
Young-Han Kim
The effect of hypoxia on the expression of SIRT1 and HIF-1α in villous explants from normal pregnancy and preeclampsia
- DOI:
10.1016/j.placenta.2014.06.255 - 发表时间:
2014-09-01 - 期刊:
- 影响因子:
- 作者:
Yeo Jung Moon;Ah Leum Kim;Ju Hyun Cho;Ha Yan Kwon;Yong-Won Park;Young-Han Kim - 通讯作者:
Young-Han Kim
215 Increased β HCG levels in vaginal secretions to detect premature rupture of membranes
- DOI:
10.1016/s0002-9378(01)80250-7 - 发表时间:
2001-12-01 - 期刊:
- 影响因子:
- 作者:
Young-Han Kim;Yong-Won Park;Jae-Sung Cho;Changhee Lee;Hyungmin Choi;Taeyoon Kim;Haengsoo Kim;Sungshik Han;Hyekyung Kwon - 通讯作者:
Hyekyung Kwon
The effect of shear stress on the expression of apelin in trophoblast using microfluidic system
- DOI:
10.1016/j.ajog.2022.11.825 - 发表时间:
2023-01-01 - 期刊:
- 影响因子:
- 作者:
Geum Joon Cho;Jin-Gon Bae;Dong Wook Kwak;Ki Hoon Ahn;Sunghun Na;Young-Han Kim;Min Jeong Oh - 通讯作者:
Min Jeong Oh
Young-Han Kim的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Young-Han Kim', 18)}}的其他基金
CIF: Small: New Directions in Network Information Theory
CIF:小型:网络信息理论的新方向
- 批准号:
1320895 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Collaborative Research: A New Approach to Joint Source-Channel Coding
CIF:小型:协作研究:联合源通道编码的新方法
- 批准号:
1116139 - 财政年份:2011
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
CAREER: Network Information Theory: Coding for Communication, Control, and Computing
职业:网络信息理论:通信、控制和计算编码
- 批准号:
0747111 - 财政年份:2008
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
Collaborative Research: The Role of Feedback in Two-Way Communication Networks
协作研究:反馈在双向通信网络中的作用
- 批准号:
0729195 - 财政年份:2007
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
相似国自然基金
多模态遥感数据信息协同的海上小目标
识别方法研究
- 批准号:
- 批准年份:2025
- 资助金额:10.0 万元
- 项目类别:省市级项目
基于多模态组学与深度学习融合的小血管闭塞性卒中诊断模型构建及应用研究
- 批准号:
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
TgMYC2调控香榧小孢子叶球开裂的分子机制
- 批准号:QN25C160012
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
脑肠轴中的生物钟基因调控橘小实蝇性信息素节律性合成的机制
- 批准号:
- 批准年份:2024
- 资助金额:15.0 万元
- 项目类别:省市级项目
蛋白质营养调控橘小实蝇雄虫直肠腺中性信息素合成的分子机制
- 批准号:32372520
- 批准年份:2023
- 资助金额:50 万元
- 项目类别:面上项目
我国小微企业贷款及其效果研究:税务信息赋能金融科技的视角
- 批准号:72373173
- 批准年份:2023
- 资助金额:41.00 万元
- 项目类别:面上项目
亚洲落叶松八齿小蠹信息素的生物合成及JHIII调控机制
- 批准号:32371896
- 批准年份:2023
- 资助金额:50.00 万元
- 项目类别:面上项目
lnc-GPR27-10/FOXP1/TCF7L2反馈环调控非小细胞肺癌肿瘤干细胞形成的机制研究和临床意义
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
小程序中用户隐私数据的违规泄露行为检测方法
- 批准号:
- 批准年份:2022
- 资助金额:54 万元
- 项目类别:面上项目
卫星重力提取中-小尺度陆地水变化的先验信息约束与联合反演研究
- 批准号:42274110
- 批准年份:2022
- 资助金额:56 万元
- 项目类别:面上项目
相似海外基金
CIF: Small: Shared Information: Theory and Applications
CIF:小:共享信息:理论与应用
- 批准号:
2310203 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: A New Paradigm for Distributed Information Processing, Simulation and Inference in Networks: The Promise of Law of Small Numbers
合作研究:CIF:小:网络中分布式信息处理、模拟和推理的新范式:小数定律的承诺
- 批准号:
2241057 - 财政年份:2022
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Information-theoretic privacy and security for personalized distributed learning
CIF:小型:个性化分布式学习的信息论隐私和安全
- 批准号:
2139304 - 财政年份:2022
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: A New Paradigm for Distributed Information Processing, Simulation and Inference in Networks: The Promise of Law of Small Numbers
合作研究:CIF:小:网络中分布式信息处理、模拟和推理的新范式:小数定律的承诺
- 批准号:
2132815 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: A New Paradigm for Distributed Information Processing, Simulation and Inference in Networks: The Promise of Law of Small Numbers
合作研究:CIF:小:网络中分布式信息处理、模拟和推理的新范式:小数定律的承诺
- 批准号:
2132843 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
FET: CIF: Small: Distributed Quantum Information Processing using Structured Operators
FET:CIF:小型:使用结构化运算符的分布式量子信息处理
- 批准号:
2007878 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Poisson matching: A new tool for information theory
CIF:小:泊松匹配:信息论的新工具
- 批准号:
2007965 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Communication, Storage, Complexity, and Security: A Holistic View on the Fundamental Limits and Code Designs for Private Information Retrieval
合作研究:CIF:小型:通信、存储、复杂性和安全性:私人信息检索的基本限制和代码设计的整体观点
- 批准号:
2007108 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Strategic Information Provision for the Control of Cyber-Socio-Physical Transportation Networks
CIF:小型:控制网络-社会-物理运输网络的战略信息提供
- 批准号:
2007604 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: An Information Theoretic Framework for Minimizing Supervision in Image/Video Analysis
CIF:小:最小化图像/视频分析中的监督的信息理论框架
- 批准号:
2008020 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant