CAREER: RI: Structural Linguistic Generalization Through Expert-Designed Tasks
职业:RI:通过专家设计的任务进行结构语言概括
基本信息
- 批准号:2239862
- 负责人:
- 金额:$ 55万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Continuing Grant
- 财政年份:2023
- 资助国家:美国
- 起止时间:2023-09-01 至 2028-08-31
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
As speakers of a language, we can understand complex sentences that we have never read before. We do so through a process called structural generalization: we divide the sentence into smaller parts, interpret the meaning of each part, and then put these meanings together to interpret the full sentence. Current language technologies, such as the virtual assistants installed on many mobile phones, are not always able to generate meaning in this way. This leads them to make mistakes when they are expected to understand more complex commands; these mistakes may be more common in languages that are spoken by smaller communities. The researchers involved in this project will create tests in multiple languages in order to measure a computational system’s structural generalization capabilities, and will use those tests to teach the system to generalize correctly. This will result in systems that work more reliably and across a wider range of languages. Alongside its technological contribution, this project will help train a new generation of scientists that are well-versed in both artificial intelligence and the structure and diversity of human languages. The project will also draw new populations to the field through outreach events that will introduce students interested in language to artificial intelligence.From a technical standpoint, the researchers will create both expert-designed and real-world semantic parsing tasks – mappings from natural language utterances to a formal language that captures their meaning – which will span a diverse sample of languages. In the expert-designed tasks, natural language inputs will be generated from a grammar created by a linguist, and the outputs will be lambda calculus formulas computed from the input. The distribution of linguistic structures will differ systematically between the training and test set of each task (“structural splits”). The structural splits of the expert-designed task will be used to endow artificial neural networks, such as large language models, with an inductive bias that favors structural generalization; such an inductive bias will then lead to structural generalization on real-world tasks. This will be accomplished using a meta-learning approach, whose objective is to learn from one part of the split and generalize to the other. These behavioral experiments will be accompanied by an investigation of how the network’s internal properties, such as initial weights, training dynamics and loss landscape, give rise to structural generalization. Overall, by providing tools for measuring and promoting structural generalization across languages, this project will lead to more robust and sample-efficient language understanding systems.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
作为一种语言的使用者,我们可以理解以前从未读过的复杂句子。我们通过一个叫做结构概括的过程来做到这一点:我们把句子分成更小的部分,解释每个部分的意思,然后把这些意思放在一起来解释整个句子。目前的语言技术,如许多手机上安装的虚拟助手,并不总是能够以这种方式产生意义。这导致他们在被期望理解更复杂的命令时犯错误;这些错误在小社区使用的语言中可能更常见。参与该项目的研究人员将创建多种语言的测试,以衡量计算系统的结构泛化能力,并将使用这些测试来教系统正确泛化。这将导致系统更可靠地工作,并跨越更广泛的语言。除了技术贡献外,该项目还将帮助培养精通人工智能和人类语言结构和多样性的新一代科学家。该项目还将通过向对语言感兴趣的学生介绍人工智能的外展活动吸引新人群进入该领域。从技术角度来看,研究人员将创建专家设计和现实世界的语义解析任务-从自然语言话语映射到捕获其含义的形式语言-这将跨越不同的语言样本。在专家设计的任务中,自然语言输入将由语言学家创建的语法生成,输出将是根据输入计算出的λ演算公式。语言结构的分布在每个任务的训练集和测试集之间会有系统的不同(“结构分裂”)。专家设计任务的结构分裂将用于赋予人工神经网络,如大型语言模型,具有有利于结构泛化的归纳偏差;这样的归纳偏差将导致对现实世界任务的结构泛化。这将使用元学习方法来完成,其目标是从分裂的一部分学习并推广到另一部分。这些行为实验将伴随着对网络内部属性(如初始权重、训练动态和损失情况)如何产生结构泛化的调查。总的来说,通过提供测量和促进跨语言结构泛化的工具,该项目将导致更健壮和样本效率更高的语言理解系统。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Tal Linzen其他文献
Priming syntactic ambiguity resolution in children and adults
启动儿童和成人的句法歧义解决
- DOI:
10.31234/osf.io/2xt8u - 发表时间:
2020 - 期刊:
- 影响因子:0
- 作者:
N. Havron;Camila Scaff;M. J. Carbajal;Tal Linzen;Axel Barrault - 通讯作者:
Axel Barrault
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
神经语言模型中句法一致机制的因果分析
- DOI:
- 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
Matthew Finlayson;Aaron Mueller;Stuart M. Shieber;Sebastian Gehrmann;Tal Linzen;Yonatan Belinkov - 通讯作者:
Yonatan Belinkov
Targeted Syntactic Evaluation of Language Models
语言模型的针对性句法评估
- DOI:
- 发表时间:
2018 - 期刊:
- 影响因子:0
- 作者:
Rebecca Marvin;Tal Linzen - 通讯作者:
Tal Linzen
SPR mega-benchmark shows surprisal tracks construction- but not item-level difficulty
SPR 大型基准测试显示了令人惊讶的轨道构建 - 但不是项目级别的难度
- DOI:
- 发表时间:
2022 - 期刊:
- 影响因子:0
- 作者:
Kuan;Suhas Arehalli;Mari Kugemoto;Christian Muxica;Grusha Prasad;Brian;Dillon;Tal Linzen - 通讯作者:
Tal Linzen
Hebrew possessive datives: corpus evidence for the role of affectedness
希伯来语所有格与格:影响作用的语料库证据
- DOI:
- 发表时间:
2009 - 期刊:
- 影响因子:0
- 作者:
Tal Linzen - 通讯作者:
Tal Linzen
Tal Linzen的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Tal Linzen', 18)}}的其他基金
Collaborative Research: Inductive Biases for the Acquisition of Syntactic Transformations in Neural Networks
合作研究:神经网络中句法转换习得的归纳偏差
- 批准号:
2114505 - 财政年份:2020
- 资助金额:
$ 55万 - 项目类别:
Standard Grant
CompCog: Collaborative Research: Testing quantitative predictions of sentence processing theories with a large-scale eye-tracking database
CompCog:协作研究:使用大型眼动追踪数据库测试句子处理理论的定量预测
- 批准号:
2020945 - 财政年份:2020
- 资助金额:
$ 55万 - 项目类别:
Standard Grant
Collaborative Research: Inductive Biases for the Acquisition of Syntactic Transformations in Neural Networks
合作研究:神经网络中句法转换习得的归纳偏差
- 批准号:
1920924 - 财政年份:2019
- 资助金额:
$ 55万 - 项目类别:
Standard Grant
相似国自然基金
醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
- 批准号:2025JJ90117
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病
中的机制研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于双修饰ANG-RNH1系统阻抑RI复合物生成机制建立口腔黏膜等效物血管化稳态
- 批准号:82401112
- 批准年份:2024
- 资助金额:30 万元
- 项目类别:青年科学基金项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
- 批准号:82301120
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于“免疫-神经”网络探讨眼针活化CI/RI大鼠MC靶向H3R调节“免疫监视”的抗炎机制
- 批准号:82374375
- 批准年份:2023
- 资助金额:51 万元
- 项目类别:面上项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
- 批准号:82300022
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
- 批准号:2022J011347
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
- 批准号:2022JJ70115
- 批准年份:2022
- 资助金额:0.0 万元
- 项目类别:省市级项目
相似海外基金
CRII: RI: Deep neural network pruning for fast and reliable visual detection in self-driving vehicles
CRII:RI:深度神经网络修剪,用于自动驾驶车辆中快速可靠的视觉检测
- 批准号:
2412285 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Standard Grant
Research Infrastructure: Mid-scale RI-1 (MI:IP): X-rays for Life Sciences, Environmental Sciences, Agriculture, and Plant sciences (XLEAP)
研究基础设施:中型 RI-1 (MI:IP):用于生命科学、环境科学、农业和植物科学的 X 射线 (XLEAP)
- 批准号:
2330043 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Cooperative Agreement
NSF Engines Development Award: Accelerating A Just Energy Transition Through Innovative Nature-Inclusive Offshore Wind Farms (CT,DE,MA,MD,NJ,RI,VA)
NSF 发动机开发奖:通过创新的自然包容性海上风电场加速公正的能源转型(康涅狄格州、特拉华州、马里兰州、马里兰州、新泽西州、罗德岛州、弗吉尼亚州)
- 批准号:
2315558 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Cooperative Agreement
新しい口腔癌センチネルリンパ節マッピング法の確立-RI法との非劣性試験-
口腔癌前哨淋巴结定位新方法的建立-RI法非劣效性检验-
- 批准号:
24K20038 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
RIビームを用いた医療用At-211製造技術の開発
使用 RI 光束开发医用 At-211 制造技术
- 批准号:
23K25132 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
医療用RIの大量製造に向けた大強度He二価ECRイオン源の研究開発
医用RI量产用高强度He二价ECR离子源研发
- 批准号:
24KJ1107 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Grant-in-Aid for JSPS Fellows
Mass measurements of Ag and Pd isotopes with the Rare RI-Ring for the 2nd peak of the r-process abundance
使用 Rare RI 环对 r 过程丰度的第二个峰进行 Ag 和 Pd 同位素的质量测量
- 批准号:
23K22509 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
RI: Small: Understanding Hand Interaction In The Jumble of Internet Videos
RI:小:在混乱的互联网视频中理解手部交互
- 批准号:
2426592 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Standard Grant
減速RIビームを用いたフェムト・スケール量子系における相転移現象の研究
使用减速 RI 光束研究飞秒级量子系统中的相变现象
- 批准号:
24H00239 - 财政年份:2024
- 资助金额:
$ 55万 - 项目类别:
Grant-in-Aid for Scientific Research (A)
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
- 批准号:
2312841 - 财政年份:2023
- 资助金额:
$ 55万 - 项目类别:
Standard Grant