CISE: RI: Small: Amortized Inference for Large-Scale Graphical Models
CISE:RI:小型:大规模图形模型的摊销推理
基本信息
- 批准号:1908617
- 负责人:
- 金额:$ 39.99万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2019
- 资助国家:美国
- 起止时间:2019-09-01 至 2022-08-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Probabilistic graphical models offer a mathematical framework to describe spatial and temporal relationships between entities. From some observable measurements, inferences can be made about other connected hidden factors. When applied to big datasets, however, standard inference methods are prohibitively time-consuming, requiring a large number of iterative updates to infer each variable. To avoid these updates, amortized inference uses a neural network to directly compute an approximate solution for every variable, which is much faster. Amortized inference works well for simpler models but not for models that capture more correlations between data. This project's goal is to generalize amortization to models that have dependent local connectivity between data. Findings from this project may be applicable to many useful large-scale applications, such as spatial modeling of bird sightings across North America and spatiotemporal modeling of opioid overdoses across neighborhood, state, and regional scales in the U.S. to inform more effective public health interventions. This research will further support the development of a project-based college-level course on probabilistic graphical models, as well as open-source software packages that make the project's new inference methods available to non-experts.The project's technical contribution will bring the efficiencies of amortized inference from models that make strong conditional independence assumptions about data to a wider class of probabilistic graphical models that capture more realistic structured dependencies between data. Across three common inference algorithms -- structured Variational Inference (VI), Loopy Belief Propagation (LBP), and Expectation Propagation (EP) -- two key technical innovations will be applied: (1) decomposition of the optimization objective to allow scalable neighborhood-by-neighborhood processing, and (2) identification of reusable neighborhood substructure that can be fed into an amortizing neural network to produce approximate local posterior distributions. These innovations are challenging because most straightforward attempts would encounter an intractable entropy term (VI) or not maintain consistency between local marginal distributions of random variables (LBP or EP). These challenges may be met by developing improved bounds and parameterizations that enforce consistency, leading to amortized inference in which the number of parameters remains fixed and affordable even when applied to large graphical models that include millions of variables.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
概率图模型提供了一个数学框架来描述实体之间的空间和时间关系。从一些可观察的测量结果中,可以推断出其他相关的隐藏因素。然而,当应用于大数据集时,标准的推理方法非常耗时,需要大量的迭代更新来推断每个变量。为了避免这些更新,摊销推理使用神经网络直接计算每个变量的近似解,这要快得多。分期推理适用于更简单的模型,但不适用于捕捉数据之间更多相关性的模型。这个项目的目标是将摊销推广到数据之间具有依赖本地连接的模型。该项目的研究结果可能适用于许多有用的大规模应用,例如北美鸟类目击的空间建模以及美国社区,州和区域范围内阿片类药物过量的时空建模,以提供更有效的公共卫生干预措施。这项研究将进一步支持基于项目的概率图形模型大学课程的开发,以及开源软件包,使该项目的新推理方法可用于非该项目的技术贡献将带来摊销推理的效率,从对数据做出强条件独立假设的模型到更广泛的概率图形模型,数据之间的真实结构化依赖关系。在三种常见的推理算法中-结构化变分推理(VI),循环信念传播(LBP)和期望传播(EP)-将应用两个关键的技术创新:(1)分解优化目标以允许可缩放的逐邻域处理,以及(2)识别可重复使用的邻域子结构,该邻域子结构可以被馈送到摊销神经网络以产生近似的局部后验分布。这些创新是具有挑战性的,因为大多数直接的尝试会遇到一个棘手的熵项(VI)或不保持随机变量(LBP或EP)的局部边缘分布之间的一致性。这些挑战可以通过开发改进的边界和参数化来实现一致性,从而实现摊销推理,即使应用于包含数百万个变量的大型图形模型,参数的数量也保持固定且负担得起。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Easy Variational Inference for Categorical Models via an Independent Binary Approximation
通过独立二元近似对分类模型进行简单的变分推理
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Michael T. Wojnowicz;Shuchin Aeron;Eric L. Miller;Michael C. Hughes
- 通讯作者:Michael C. Hughes
Interpretable Node Representation with Attribute Decoding
- DOI:10.48550/arxiv.2212.01682
- 发表时间:2022-12
- 期刊:
- 影响因子:0
- 作者:Xiaohui Chen;Xi Chen;Liping Liu
- 通讯作者:Xiaohui Chen;Xi Chen;Liping Liu
PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations
- DOI:10.48550/arxiv.2211.14425
- 发表时间:2022-11
- 期刊:
- 影响因子:0
- 作者:Han Gao;Xuhong Han;Jiaoyang Huang;Jian-Xun Wang;Liping Liu
- 通讯作者:Han Gao;Xuhong Han;Jiaoyang Huang;Jian-Xun Wang;Liping Liu
Stochastic Iterative Graph Matching
- DOI:
- 发表时间:2021-06
- 期刊:
- 影响因子:0
- 作者:Linfeng Liu;M. Hughes;S. Hassoun;Liping Liu
- 通讯作者:Linfeng Liu;M. Hughes;S. Hassoun;Liping Liu
Predicting Spatiotemporal Counts of Opioid-related Fatal Overdoses via Zero-Inflated Gaussian Processes
通过零膨胀高斯过程预测阿片类药物相关致命过量的时空计数
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Kyle Heuton;Shikhar Shrestha;Thomas J. Stopka;Jennifer Pustz;Li-Ping Liu;Michael C. Hughes
- 通讯作者:Michael C. Hughes
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Liping Liu其他文献
High‐grade endometrial stromal sarcoma of the endocervix: An extremely rare case report
宫颈内膜高级别子宫内膜间质肉瘤:极其罕见的病例报告
- DOI:
- 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
Bei Wang;Liping Liu;Na Li;Jing Zhao;Congwei Dai;Xiaowei Dai;Jianli Li - 通讯作者:
Jianli Li
Oxidized low-density lipoprotein predicts recurrent stroke in patients with minor stroke or TIA
氧化低密度脂蛋白可预测轻微中风或 TIA 患者的复发性中风
- DOI:
- 发表时间:
2018 - 期刊:
- 影响因子:9.9
- 作者:
Anxin Wang;Jie Xu;Guojuan Chen;David Wang;S. C. Johnston;X. Meng;Jinxi Lin;Hao Li;Yibin Cao;Nan Zhang;Caiyun Ma;L. Dai;Xingquan Zhao;Liping Liu;Yongjun Wang;Yilong Wang - 通讯作者:
Yilong Wang
Comparison Study on Short Circuit Capability of 1.2 kV Split-Gate MOSFET and Split-Source MOSFET with Integrated JBS Diode
1.2 kV分栅MOSFET与集成JBS二极管的分源MOSFET短路能力对比研究
- DOI:
10.1109/wipdaasia51810.2021.9656050 - 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
Hongyi Xu;Chao;Na Ren;Xinhui Gan;Liping Liu;Zhengyun Zhu;Li Liu;Qing Guo;Jianxin Ji;Kuang Sheng - 通讯作者:
Kuang Sheng
Autoimmune Encephalomyelitis Mice with Experimental − / − CXCR 3 Production in γ Migration , and Reduced IFN-Severe Disease , Unaltered Leukocyte
自身免疫性脑脊髓炎小鼠实验性 - / - γ 迁移中 CXCR 3 的产生,IFN-严重疾病减少,白细胞未改变
- DOI:
- 发表时间:
2006 - 期刊:
- 影响因子:0
- 作者:
R. Ransohoff;Taofang Hu;J. DeMartino;B. Lu;C. Gerard;Liping Liu;Deren Huang;M. Matsui;Toby T. He - 通讯作者:
Toby T. He
Optical and Geometrical Properties of Cirrus Clouds over the Tibetan Plateau Measured by Lidar and Radiosonde Sounding at the Summertime in 2014
2014年夏季激光雷达和无线电探空仪测量青藏高原卷云的光学和几何特性
- DOI:
10.5194/amt-2017-355 - 发表时间:
- 期刊:
- 影响因子:0
- 作者:
Guangyao Dai;Songhua Wu;Xiaoquan Song;Liping Liu - 通讯作者:
Liping Liu
Liping Liu的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Liping Liu', 18)}}的其他基金
Anomalous Diffusion: Physical Origins and Mathematical Analysis
反常扩散:物理起源和数学分析
- 批准号:
2306254 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Continuing Grant
CAREER: New Frontiers in Graph Generation
职业:图生成的新领域
- 批准号:
2239869 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Continuing Grant
CRII: RI: Self-Attention through the Bayesian Lens
CRII:RI:贝叶斯视角下的自注意力
- 批准号:
1850358 - 财政年份:2019
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Polynomial inclusions: open problems and potential applications
多项式包含:开放问题和潜在应用
- 批准号:
1410273 - 财政年份:2014
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
CAREER: Multiferroic Materials - Predictive Modeling, Multiscale Analysis, and Optimal Design
职业:多铁性材料 - 预测建模、多尺度分析和优化设计
- 批准号:
1351561 - 财政年份:2014
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Variational Inequalities and their Applications in the Predictive Modeling of Heterogeneous Media
变分不等式及其在异质介质预测建模中的应用
- 批准号:
1238835 - 财政年份:2012
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Variational Inequalities and their Applications in the Predictive Modeling of Heterogeneous Media
变分不等式及其在异质介质预测建模中的应用
- 批准号:
1101030 - 财政年份:2011
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
相似国自然基金
醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
- 批准号:2025JJ90117
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病
中的机制研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于双修饰ANG-RNH1系统阻抑RI复合物生成机制建立口腔黏膜等效物血管化稳态
- 批准号:82401112
- 批准年份:2024
- 资助金额:30 万元
- 项目类别:青年科学基金项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
- 批准号:82301120
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于“免疫-神经”网络探讨眼针活化CI/RI大鼠MC靶向H3R调节“免疫监视”的抗炎机制
- 批准号:82374375
- 批准年份:2023
- 资助金额:51 万元
- 项目类别:面上项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
- 批准号:82300022
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
- 批准号:2022J011347
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
- 批准号:2022JJ70115
- 批准年份:2022
- 资助金额:0.0 万元
- 项目类别:省市级项目
相似海外基金
RI: Small: Understanding Hand Interaction In The Jumble of Internet Videos
RI:小:在混乱的互联网视频中理解手部交互
- 批准号:
2426592 - 财政年份:2024
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
- 批准号:
2313131 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Travel: RI: Small: Student Travel Grant for 20th International Conference on Principles of Knowledge Representation and Reasoning and Doctoral Consortium
旅费:RI:小额:第 20 届知识表示和推理原理及博士联盟国际会议学生旅费补助
- 批准号:
2328173 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
- 批准号:
2345528 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: Motion Fields Understanding for Enhanced Long-Range Imaging
合作研究:RI:小型:增强远程成像的运动场理解
- 批准号:
2232298 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
- 批准号:
2232055 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
RI: Small: Large-Scale Game-Theoretic Reasoning with Incomplete Information
RI:小型:不完整信息的大规模博弈论推理
- 批准号:
2214141 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
CISE-ANR: RI: Small: Numerically efficient reinforcement learning for constrained systems with super-linear convergence (NERL)
CISE-ANR:RI:小:具有超线性收敛 (NERL) 的约束系统的数值高效强化学习
- 批准号:
2315396 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
RI: Small: The Surprising Power of Sequential Fair Allocation Mechanisms
RI:小:顺序公平分配机制的惊人力量
- 批准号:
2327057 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
- 批准号:
2232054 - 财政年份:2023
- 资助金额:
$ 39.99万 - 项目类别:
Standard Grant