III: Large: Collaborative Research: SciDB - An Array Oriented Data Management System for Massive Scale Scientific Data

III:大型:协作研究:SciDB - 用于大规模科学数据的面向数组的数据管理系统

基本信息

  • 批准号:
    1111371
  • 负责人:
  • 金额:
    $ 55.62万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2011
  • 资助国家:
    美国
  • 起止时间:
    2011-09-01 至 2016-08-31
  • 项目状态:
    已结题

项目摘要

This collaborative project brings together expertise of five research teams at Brown University (IIS-1111423), University of Washington (IIS-1110370), Massachusetts Institute of Technology (IIS-1111371), Portland State University (IIS-1110917) and University of Wisconsin-Madison (IIS-1111423). Scientific data management has traditionally been performed using the file system, at best using files structured according to a low-level data format. Higher-level data management infrastructure has been task-specific and not reusable in different domains, resulting in millions of dollars of duplicated implementation effort by scientists to manage their data. The goal of this project is the development of a scientific database (SciDB), a system designed and optimized for scientific applications. The aim of SciDB is to do for science what relational databases did for the business world, namely to provide a high performance, commercial-quality and scalable data management system appropriate for many science domains.In contrast to existing database systems, SciDB is based on a multidimensional array data model and includes multiple features specific to science and critical for science: provenance, uncertainty, versions, time travel, science-specific operations, and in situ data processing. No existing system offers all these features in a single, highly scalable engine. SciDB thus significantly advances the state-of-the-art in data management in addition to supporting domain scientists in data-driven knowledge discovery. The intellectual merit of SciDB is in exploring novel, high performance solutions to nested array storage, parallel array query optimization and execution, array language design, and time travel.The primary broader impact of SciDB is on the community of scientists who benefit from the tool. By keeping scientists "in the loop" in the design of the system from the outset, the project delivers software that is broadly usable to the community. The proposal also funds participation in a series of workshops that seek to engage even more of the science community. SciDB is an open-source effort, with an initial prototype (http://www.scidb.org/) already downloaded by hundreds of users. Finally, the PIs have a strong track record of delivering robust data management software that is widely used and involving students in the process, including students from under-represented groups. Further information can be found on the project web page (http://database.cs.brown.edu/projects/scidb).
该合作项目汇集了布朗大学(IIS-1111423)、华盛顿大学(IIS-1110370)、麻省理工学院(IIS-1111371)、波特兰州立大学(IIS-1110917)和威斯康星大学麦迪逊分校(IIS-1111423)五个研究团队的专业知识。科学数据管理传统上是使用文件系统进行的,最多使用根据低级数据格式构建的文件。更高级别的数据管理基础设施是特定于任务的,不能在不同的领域中重用,导致科学家们花费数百万美元来管理他们的数据。该项目的目标是开发一个科学数据库(SciDB),一个为科学应用而设计和优化的系统。SciDB的目标是为科学提供关系数据库为商业世界提供的服务,即为许多科学领域提供适合的高性能、商业质量和可扩展的数据管理系统。与现有数据库系统相比,SciDB基于多维数组数据模型,并包括科学特有的和对科学至关重要的多个特征:来源、不确定性、版本、时间旅行、科学特定操作和原位数据处理。没有现有的系统在一个单一的、高度可扩展的引擎中提供所有这些功能。因此,除了支持领域科学家进行数据驱动的知识发现之外,SciDB还显著地推进了数据管理方面的最新技术。SciDB的智力优势在于为嵌套数组存储、并行数组查询优化和执行、数组语言设计和时间旅行探索新颖的高性能解决方案。SciDB主要的更广泛的影响是对受益于该工具的科学家群体。通过让科学家从一开始就参与系统设计的“循环”,该项目交付的软件可以广泛地为社区所用。该提案还资助了一系列旨在吸引更多科学界人士参与的研讨会。SciDB是一个开源项目,其初始原型(http://www.scidb.org/)已经被数百名用户下载。最后,pi在提供广泛使用的强大数据管理软件方面有着良好的记录,并让学生参与到这一过程中,包括来自代表性不足群体的学生。更多信息可以在项目网页(http://database.cs.brown.edu/projects/scidb)上找到。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Samuel Madden其他文献

MEDLINE/ PubMed
MEDLINE/PubMed
  • DOI:
    10.1007/978-0-387-39940-9_3039
  • 发表时间:
    2004
  • 期刊:
  • 影响因子:
    3.8
  • 作者:
    Cornelia Caragea;V. Honavar;P. Boncz;P. Larson;S. Dietrich;Gonzalo Navarro;Bhavani Thuraisingham;Yan Luo;Ouri E. Wolfson;S. Beitzel;Eric C. Jensen;Ophir Frieder;Christian S. Jensen;N. Tradisauskas;Ethan V. Munson;A. Wun;K. Goda;Stephen E. Fienberg;Jiashun Jin;Guimei Liu;Nick Craswell;T. Pedersen;Cesare Pautasso;M. Moro;S. Manegold;B. Carminati;Marina Blanton;Sara Bouchenak;Noël de Palma;Wei Tang;Christoph Quix;M. Jeusfeld;R. K. Pon;David J. Buttler;W. Meng;P. Zezula;Michal Batko;Vlastislav Dohnal;J. Domingo;Denilson Barbosa;Ioana Manolescu;Jeffrey Xu Yu;Emmanuel Cecchet;Vivien Quéma;Xifeng Yan;G. Santucci;D. Zeinalipour;Panos K. Chrysanthis;Amol Deshpande;Carlos Guestrin;Samuel Madden;Carson Kai;R. H. Güting;Amarnath Gupta;Heng Tao Shen;G. Weikum;Ramesh Jain;Jeffrey Xu Yu;Paolo Ciaccia;K. Candan;M. Sapino;C. Meghini;F. Sebastiani;U. Straccia;F. Nack;V. S. Subrahmanian;Maria Vanina Martinez;D. Reforgiato;T. Westerveld;M. Sebillo;G. Vitiello;Maria De Marsico;K. Voruganti;C. Parent;S. Spaccapietra;Christelle Vangenot;Esteban Zimányi;Prasan Roy;S. Sudarshan;E. Puppo;Peer Kröger;Matthias Renz;H. Schuldt;Solmaz Kolahi;A. Unwin;W. Cellary
  • 通讯作者:
    W. Cellary
Cabernet: A Content Delivery Network for Moving Vehicles
Cabernet:移动车辆的内容交付网络
  • DOI:
  • 发表时间:
    2008
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Jakob Eriksson;H. Balakrishnan;Samuel Madden
  • 通讯作者:
    Samuel Madden
Cackle: Analytical Workload Cost and Performance Stability With Elastic Pools
Cackle:使用弹性池分析工作负载成本和性能稳定性
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Matthew Perron;Raul Castro Fernandez;David DeWitt;Michael Cafarella;Samuel Madden
  • 通讯作者:
    Samuel Madden
Performant almost-latch-free data structures using epoch protection in more depth
更深入地使用纪元保护的高性能几乎无锁存的数据结构
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Tianyu Li;Badrish Chandramouli;Samuel Madden
  • 通讯作者:
    Samuel Madden
Research contributions of Mike Stonebraker: an overview
  • DOI:
    10.1145/3226595.3226612
  • 发表时间:
    2018-12
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Samuel Madden
  • 通讯作者:
    Samuel Madden

Samuel Madden的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Samuel Madden', 18)}}的其他基金

Collaborative Research: Elements: A Self-tuning Anomaly Detection Service
合作研究:Elements:自调整异常检测服务
  • 批准号:
    2103799
  • 财政年份:
    2021
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
III: Medium: Massively Parallel Data Analytics on Heterogeneous Architectures
III:中:异构架构上的大规模并行数据分析
  • 批准号:
    1763434
  • 财政年份:
    2018
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
BD Spokes: SPOKE: NORTHEAST: Collaborative: A Licensing Model and Ecosystem for Data Sharing
BD Spokes:SPOKE:NORTHEAST:协作:数据共享的许可模型和生态系统
  • 批准号:
    1636766
  • 财政年份:
    2016
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
III: Medium: Collaborative Research: DataHub - A Collaborative Dataset Management Platform for Data Science
III:媒介:协作研究:DataHub - 数据科学协作数据集管理平台
  • 批准号:
    1513443
  • 财政年份:
    2015
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
ACM SIGMOD 2012 Student Programming Contest: A Multidimensional Indexing System
ACM SIGMOD 2012 学生编程竞赛:多维索引系统
  • 批准号:
    1235666
  • 财政年份:
    2012
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
III: Medium: Scalable and Secure Database as a Service
III:中等:可扩展且安全的数据库即服务
  • 批准号:
    1065219
  • 财政年份:
    2011
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
SIGMOD 2011 Programming Contest
SIGMOD 2011 编程大赛
  • 批准号:
    1129526
  • 财政年份:
    2011
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
2010 SIGMOD Programming Contest
2010年SIGMOD编程大赛
  • 批准号:
    1037986
  • 财政年份:
    2010
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
Collaborative Research: A Comparative Study of Approaches to Cluster-Based Large Scale Data Analysis
协作研究:基于集群的大规模数据分析方法的比较研究
  • 批准号:
    0844013
  • 财政年份:
    2009
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
2009 SIGMOD Programming Contest
2009年SIGMOD编程大赛
  • 批准号:
    0848727
  • 财政年份:
    2008
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant

相似国自然基金

水稻穗粒数调控关键因子LARGE6的分子遗传网络解析
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
量子自旋液体中拓扑拟粒子的性质:量子蒙特卡罗和新的large-N理论
  • 批准号:
  • 批准年份:
    2020
  • 资助金额:
    62 万元
  • 项目类别:
    面上项目
甘蓝型油菜Large Grain基因调控粒重的分子机制研究
  • 批准号:
    31972875
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
Large PB/PB小鼠 视网膜新生血管模型的研究
  • 批准号:
    30971650
  • 批准年份:
    2009
  • 资助金额:
    8.0 万元
  • 项目类别:
    面上项目
基因discs large在果蝇卵母细胞的后端定位及其体轴极性形成中的作用机制
  • 批准号:
    30800648
  • 批准年份:
    2008
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
LARGE基因对口腔癌细胞中α-DG糖基化及表达的分子调控
  • 批准号:
    30772435
  • 批准年份:
    2007
  • 资助金额:
    29.0 万元
  • 项目类别:
    面上项目

相似海外基金

III: Medium: Collaborative Research: Integrating Large-Scale Machine Learning and Edge Computing for Collaborative Autonomous Vehicles
III:媒介:协作研究:集成大规模机器学习和边缘计算以实现协作自动驾驶汽车
  • 批准号:
    2348169
  • 财政年份:
    2023
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
Collaborative Research: III: Small: Taming Large-Scale Streaming Graphs in an Open World
协作研究:III:小型:在开放世界中驯服大规模流图
  • 批准号:
    2236578
  • 财政年份:
    2023
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: Taming Large-Scale Streaming Graphs in an Open World
协作研究:III:小型:在开放世界中驯服大规模流图
  • 批准号:
    2236579
  • 财政年份:
    2023
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
III: Small: Collaborative Research: Cost-Efficient Sampling and Estimation from Large-Scale Networks
III:小型:协作研究:大规模网络的经济高效采样和估计
  • 批准号:
    2209921
  • 财政年份:
    2021
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Standard Grant
Collaborative Research: Chameleon Phase III: A Large-Scale, Reconfigurable Experimental Environment for Cloud Research
合作研究:Chameleon 第三阶段:用于云研究的大规模、可重构实验环境
  • 批准号:
    2027170
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Cooperative Agreement
Collaborative Research: Chameleon Phase III: A Large-Scale, Reconfigurable Experimental Environment for Cloud Research
合作研究:Chameleon 第三阶段:用于云研究的大规模、可重构实验环境
  • 批准号:
    2027174
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Cooperative Agreement
III: Medium: Collaborative Research: Integrating Large-Scale Machine Learning and Edge Computing for Collaborative Autonomous Vehicles
III:媒介:协作研究:集成大规模机器学习和边缘计算以实现协作自动驾驶汽车
  • 批准号:
    1956002
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
Collaborative Research: Chameleon Phase III: A Large-Scale, Reconfigurable Experimental Environment for Cloud Research
合作研究:Chameleon 第三阶段:用于云研究的大规模、可重构实验环境
  • 批准号:
    2027173
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Cooperative Agreement
Collaborative Research: Chameleon Phase III: A Large-Scale, Reconfigurable Experimental Environment for Cloud Research
合作研究:Chameleon 第三阶段:用于云研究的大规模、可重构实验环境
  • 批准号:
    2027176
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Cooperative Agreement
III: Medium: Collaborative Research: Integrating Large-Scale Machine Learning and Edge Computing for Collaborative Autonomous Vehicles
III:媒介:协作研究:集成大规模机器学习和边缘计算以实现协作自动驾驶汽车
  • 批准号:
    1955890
  • 财政年份:
    2020
  • 资助金额:
    $ 55.62万
  • 项目类别:
    Continuing Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了