III: Medium: Collaborative Research: Reasoning about Optimizers for Data-Intensive Systems
III:媒介:协作研究:数据密集型系统优化器的推理
基本信息
- 批准号:1954222
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Continuing Grant
- 财政年份:2020
- 资助国家:美国
- 起止时间:2020-09-01 至 2023-08-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Today, we witness an explosion of new data-intensive systems, both for traditional data processing and for machine learning, and these systems critically require powerful optimizers for their declarative languages. Developing and verifying such optimizers is very difficult: in the past, they were developed only by a small number of commercial database vendors with dedicated teams, while most modern systems are developed by small teams without such expertise. To address this challenge, this project studies and implements automated methods for verifying query optimization rules in data-intensive systems.Specifically, this project will have four research focuses: (1) We will develop an axiomatic foundation based on algebraic identities in a semiring, implement it as a framework, and apply it to verify optimization rules in existing systems. (2) We will extend the framework to reason about languages that combine linear algebra with relational algebra, for example languages that manipulate vectors, matrices, and tensors, and extend the verifier to reason about tensor optimization rules. (3) We will conduct a theoretical study of the completeness and decidability of the semiring-based axiomatic system used for verifying optimization rules, and specialize this study for various query language fragments. (4) We will build a new cloud-based infrastructure for automated reasoning of declarative query languages, to enable researchers to easily develop executable semantics for different data-intensive systems, formal methods researchers to develop new techniques targeted for query language reasoning, and application developers to build new applications that make use of our infrastructure.All software artifacts developed in this project will be released to the public, with plans to incorporate their usage in both the undergraduate and graduate curricula. Any collected benchmarks from open source will be aggregated into a repository that is publicly accessible, with the goal to enable researchers and practitioners in the field to experiment and reproduce the results.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
今天,我们见证了新的数据密集型系统的爆炸式增长,无论是传统的数据处理还是机器学习,这些系统都迫切需要强大的声明性语言优化器。 开发和验证这样的优化器是非常困难的:在过去,它们只由少数商业数据库供应商和专门的团队开发,而大多数现代系统都是由没有这种专业知识的小团队开发的。为了应对这一挑战,本项目研究并实现了数据密集型系统中查询优化规则的自动化验证方法,具体而言,本项目将有四个研究重点:(1)我们将开发一个基于半环中代数恒等式的公理化基础,并将其实现为框架,应用于现有系统中优化规则的验证。(2)我们将扩展该框架以推理联合收割机与关系代数相结合的语言,例如操作向量、矩阵和张量的语言,并扩展验证器以推理张量优化规则。(3)我们将对用于验证优化规则的基于半环的公理系统的完备性和可判定性进行理论研究,并将这项研究专门用于各种查询语言片段。(4)我们将建立一个新的基于云的基础设施,用于声明式查询语言的自动推理,使研究人员能够轻松地为不同的数据密集型系统开发可执行语义,使形式方法研究人员能够开发针对查询语言推理的新技术,并使应用程序开发人员能够构建使用我们的基础设施的新应用程序。并计划将其应用纳入本科和研究生课程。任何从开源收集的基准将被聚合到一个可公开访问的存储库中,目的是使该领域的研究人员和从业人员能够实验和复制结果。该奖项反映了NSF的法定使命,并被认为值得通过使用基金会的知识价值和更广泛的影响审查标准进行评估来支持。
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Convergence of Datalog over (Pre-) Semirings
- DOI:10.1145/3517804.3524140
- 发表时间:2021-05
- 期刊:
- 影响因子:0
- 作者:Mahmoud Abo Khamis;H. Ngo;R. Pichler;Dan Suciu;Y. Wang
- 通讯作者:Mahmoud Abo Khamis;H. Ngo;R. Pichler;Dan Suciu;Y. Wang
Free Join: Unifying Worst-Case Optimal and Traditional Joins
自由连接:统一最坏情况的最优连接和传统连接
- DOI:10.1145/3589295
- 发表时间:2023
- 期刊:
- 影响因子:0
- 作者:Wang, Yisu Remy;Willsey, Max;Suciu, Dan
- 通讯作者:Suciu, Dan
A Near-Optimal Parallel Algorithm for Joining Binary Relations
一种二元关系连接的近最优并行算法
- DOI:10.46298/lmcs-18(2:6)2022
- 发表时间:2022
- 期刊:
- 影响因子:0.6
- 作者:Ketsman, Bas;Suciu, Dan;Tao, Yufei
- 通讯作者:Tao, Yufei
Optimizing Recursive Queries with Progam Synthesis
- DOI:10.1145/3514221.3517827
- 发表时间:2022-02
- 期刊:
- 影响因子:0
- 作者:Y. Wang;Mahmoud Abo Khamis;H. Ngo;R. Pichler;Dan Suciu
- 通讯作者:Y. Wang;Mahmoud Abo Khamis;H. Ngo;R. Pichler;Dan Suciu
Optimizing Tensor Programs on Flexible Storage
在灵活存储上优化张量程序
- DOI:10.1145/3588717
- 发表时间:2023
- 期刊:
- 影响因子:0
- 作者:Schleich, Maximilian;Shaikhha, Amir;Suciu, Dan
- 通讯作者:Suciu, Dan
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Dan Suciu其他文献
A Dichotomy for the Generalized Model Counting Problem for Unions of Conjunctive Queries
连接查询并集广义模型计数问题的二分法
- DOI:
- 发表时间:
2020 - 期刊:
- 影响因子:0
- 作者:
Batya Kenig;Dan Suciu - 通讯作者:
Dan Suciu
Optimizing Large-Scale Semi-Naïve Datalog Evaluation in Hadoop
优化 Hadoop 中的大规模半简单数据记录评估
- DOI:
- 发表时间:
2012 - 期刊:
- 影响因子:0
- 作者:
Marianne Shaw;Paraschos Koutris;Bill Howe;Dan Suciu - 通讯作者:
Dan Suciu
Integrating Network-Bound XML Data
集成网络绑定的 XML 数据
- DOI:
- 发表时间:
2001 - 期刊:
- 影响因子:0
- 作者:
M. Fernández;Atsuyuki Morishima;Dan Suciu;W. Tan - 通讯作者:
W. Tan
XViz: A Tool for Visualizing XPath Expressions
XViz:可视化 XPath 表达式的工具
- DOI:
10.1007/978-3-540-39429-7_9 - 发表时间:
2003 - 期刊:
- 影响因子:0
- 作者:
B. Handy;Dan Suciu - 通讯作者:
Dan Suciu
Cytosolic protein ubiquitylation in normal and endotoxin stimulated human peripheral blood mononuclear cells
正常和内毒素刺激的人外周血单核细胞中胞质蛋白的泛素化
- DOI:
- 发表时间:
2000 - 期刊:
- 影响因子:0
- 作者:
M. Majetschak;Dan Suciu;K. Häsler;U. Obertacke;F. Schade;H. Jennissen - 通讯作者:
H. Jennissen
Dan Suciu的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Dan Suciu', 18)}}的其他基金
III: Small: Datalog with Aggregates: Complexity, Optimization, Evaluation
III:小:带有聚合的数据记录:复杂性、优化、评估
- 批准号:
2314527 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
NSF-BSF: III: Small: Data Driven Schema
NSF-BSF:III:小型:数据驱动模式
- 批准号:
2109922 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
III:Small: Optimal Query Processing meets Information Theory: from Proofs to Algorithms
III:Small:最优查询处理遇到信息论:从证明到算法
- 批准号:
1907997 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
III: Medium: Collaborative Research: A Unified and Declarative Approach to Causal Analysis for Big Data
III:媒介:协作研究:大数据因果分析的统一声明式方法
- 批准号:
1703281 - 财政年份:2017
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: Scalable Probabilistic Inference for Large Knowledge Bases
III:小:大型知识库的可扩展概率推理
- 批准号:
1614738 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
AitF: FULL: Query Processing with Optimal Communication Cost
AitF:FULL:具有最佳通信成本的查询处理
- 批准号:
1535565 - 财政年份:2015
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
BIGDATA: Mid-Scale: DCM: A Formal Foundation for Big Data Management
BIGDATA:中型:DCM:大数据管理的正式基础
- 批准号:
1247469 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
III: Small: Query Compilation on Probabilistic Databases
III:小:概率数据库上的查询编译
- 批准号:
1115188 - 财政年份:2011
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: BeliefDB - Adding Belief Annotations to Databases
III:小:BeliefDB - 向数据库添加信念注释
- 批准号:
0915054 - 财政年份:2009
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III COR: Query Evaluation and View Materialization in Probabilistic Data
III COR:概率数据中的查询评估和视图具体化
- 批准号:
0713576 - 财政年份:2007
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
相似海外基金
III : Medium: Collaborative Research: From Open Data to Open Data Curation
III:媒介:协作研究:从开放数据到开放数据管理
- 批准号:
2420691 - 财政年份:2024
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: Medium: Designing AI Systems with Steerable Long-Term Dynamics
合作研究:III:中:设计具有可操纵长期动态的人工智能系统
- 批准号:
2312865 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: MEDIUM: Responsible Design and Validation of Algorithmic Rankers
合作研究:III:媒介:算法排序器的负责任设计和验证
- 批准号:
2312932 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Medium: Collaborative Research: Integrating Large-Scale Machine Learning and Edge Computing for Collaborative Autonomous Vehicles
III:媒介:协作研究:集成大规模机器学习和边缘计算以实现协作自动驾驶汽车
- 批准号:
2348169 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
Collaborative Research: III: Medium: Algorithms for scalable inference and phylodynamic analysis of tumor haplotypes using low-coverage single cell sequencing data
合作研究:III:中:使用低覆盖率单细胞测序数据对肿瘤单倍型进行可扩展推理和系统动力学分析的算法
- 批准号:
2415562 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: Medium: New Machine Learning Empowered Nanoinformatics System for Advancing Nanomaterial Design
合作研究:III:媒介:新的机器学习赋能纳米信息学系统,促进纳米材料设计
- 批准号:
2347592 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: Medium: Knowledge discovery from highly heterogeneous, sparse and private data in biomedical informatics
合作研究:III:中:生物医学信息学中高度异构、稀疏和私有数据的知识发现
- 批准号:
2312862 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: MEDIUM: Responsible Design and Validation of Algorithmic Rankers
合作研究:III:媒介:算法排序器的负责任设计和验证
- 批准号:
2312930 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: III: Medium: VirtualLab: Integrating Deep Graph Learning and Causal Inference for Multi-Agent Dynamical Systems
协作研究:III:媒介:VirtualLab:集成多智能体动态系统的深度图学习和因果推理
- 批准号:
2312501 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: IIS: III: MEDIUM: Learning Protein-ish: Foundational Insight on Protein Language Models for Better Understanding, Democratized Access, and Discovery
协作研究:IIS:III:中等:学习蛋白质:对蛋白质语言模型的基础洞察,以更好地理解、民主化访问和发现
- 批准号:
2310113 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant














{{item.name}}会员




