BIGDATA: Mid-Scale: DCM: Collaborative Research: Eliminating the Data Ingestion Bottleneck in Big Data Applications

BIGDATA:中型:DCM:协作研究:消除大数据应用中的数据摄取瓶颈

基本信息

  • 批准号:
    1247726
  • 负责人:
  • 金额:
    $ 80万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2013
  • 资助国家:
    美国
  • 起止时间:
    2013-02-01 至 2019-01-31
  • 项目状态:
    已结题

项目摘要

Big-data practice suggests that there is a tradeoff between the speed of data ingestion, the ability to answer queries quickly (e.g., via indexing), and the freshness of data. This perceived tradeoff lies, for example, at the heart of the historic division between OLTP (online transaction processing) and OLAP (online analytical processing). In an OLTP database, data gets ingested quickly and the data available for querying is fresh, but analytical queries run prohibitively slowly. In an OLAP data warehouse, data is buffered for off-line indexing so that analytical queries run quickly, but by the time the data gets indexed, it is stale. This tradeoff has manifestations in the design of all types of storage systems. For example, some file-systems are optimized for reads and others for writes, but workloads generally involve a mixture of reads and writes. In this project the PIs show that this is not a fundamental tradeoff, but rather a tradeoff imposed by the choice of data structure. The PIs use write-optimized structures, an alternative to traditional indexing methodologies, to build storage systems in which this tradeoff is significantly mitigated or alleviated altogether. The performance promise of such indexing schemes follows from the PIs previous work establishing that write-optimized data structures can speed up both inserts and queries. This project addresses the remaining obstacles in the deployment of write-optimized indexes within big-data file-systems and databases. Big data imposes a new set of constraints on any storage system, and the PIs will show how write-optimized indexing can yield order-of-magnitude performance improvements at scale. In particular, this project will show that such techniques are not only applicable today but that they will scale with hardware trends, including the widespread adoption of solid-state disks (SSDs).
大数据实践表明,在数据摄取的速度、快速回答查询的能力(例如,通过索引)和数据的新鲜度之间存在权衡。例如,这种可感知的权衡是OLTP(在线事务处理)和OLAP(在线分析处理)之间历史划分的核心。在OLTP数据库中,可以快速地摄取数据,并且可用于查询的数据是新鲜的,但是分析查询的运行速度非常慢。在OLAP数据仓库中,为离线索引对数据进行缓冲,以便分析查询能够快速运行,但是当数据被索引时,它已经过时了。这种权衡在所有类型的存储系统的设计中都有体现。例如,一些文件系统针对读进行了优化,而另一些文件系统针对写进行了优化,但是工作负载通常涉及读和写的混合。在这个项目中,pi表明这不是一个基本的权衡,而是由数据结构的选择强加的权衡。pi使用写优化结构(一种传统索引方法的替代方案)来构建存储系统,从而大大减轻或完全减轻这种权衡。这种索引方案的性能承诺来自于pi之前的工作,即写优化的数据结构可以加速插入和查询。该项目解决了在大数据文件系统和数据库中部署写优化索引的剩余障碍。大数据对任何存储系统都施加了一组新的约束,而pi将展示写优化索引如何在规模上产生数量级的性能改进。特别是,该项目将表明,这些技术不仅适用于今天,而且还将随着硬件趋势(包括固态磁盘(ssd)的广泛采用)而扩展。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Michael Bender其他文献

Self-consistent description of multipole strength in exotic nuclei: Method
奇异核中多极强度的自洽描述:方法
  • DOI:
  • 发表时间:
    2004
  • 期刊:
  • 影响因子:
    0
  • 作者:
    J. Terasaki;Jonathan Engel;Michael Bender;J. Dobaczewski;W. Nazarewicz;W. Nazarewicz;W. Nazarewicz;M. Stoitsov
  • 通讯作者:
    M. Stoitsov
Identity and well-being of ethnic minority and mainstream adolescents in Bulgaria
保加利亚少数民族和主流青少年的身份和福祉
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    R. Dimitrova;A. Chasiotis;Michael Bender;F. Vijver
  • 通讯作者:
    F. Vijver
The Importance of Religiosity and Cultural Maintenance for Self-Esteem: The Case of Second-Generation Turkish–Dutch Adolescents
宗教信仰和文化维护对自尊的重要性:第二代土耳其裔荷兰青少年的案例
  • DOI:
  • 发表时间:
    2014
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Michael Bender;Iren Yeresyan
  • 通讯作者:
    Iren Yeresyan
Preattentive visualization of information relevance
信息相关性的预先可视化
  • DOI:
    10.1145/1290128.1290137
  • 发表时间:
    2007
  • 期刊:
  • 影响因子:
    0
  • 作者:
    M. Deller;A. Ebert;Michael Bender;S. Agne;H. Barthel
  • 通讯作者:
    H. Barthel
The Predictive Value of Transcutaneous Electrical Nerve Stimulation for Patient Selection in Peripheral Nerve Field Stimulation for Chronic Low Back Pain: A Prospective Study
经皮电神经刺激对慢性腰痛周围神经场刺激患者选择的预测价值:一项前瞻性研究

Michael Bender的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Michael Bender', 18)}}的其他基金

NSF-BSF: Collaborative Research: AF: Small: Algorithmic Performance through History Independence
NSF-BSF:协作研究:AF:小型:通过历史独立性实现算法性能
  • 批准号:
    2247577
  • 财政年份:
    2023
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
When was Summit, Greenland last ice-free: 81Kr dating of dirty ice at the bottom of the GISP2 ice core
格陵兰岛萨米特最后一次无冰是什么时候:GISP2冰芯底部脏冰的81Kr测年
  • 批准号:
    2052958
  • 财政年份:
    2021
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
Collaborative Research: AF: Medium: Adventures in Flatland: Algorithms for Modern Memories
合作研究:AF:媒介:平地历险记:现代记忆算法
  • 批准号:
    2106827
  • 财政年份:
    2021
  • 资助金额:
    $ 80万
  • 项目类别:
    Continuing Grant
Collaborative Research: PPoSS: Planning: Efficient Address Translation with Formal Guarantees for Data-Center-Scale Applications
协作研究:PPoSS:规划:有效的地址转换,为数据中心规模的应用程序提供正式保证
  • 批准号:
    2118830
  • 财政年份:
    2021
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
ABR: CSR: Medium: Collaborative Research: FTFS: A Read/Write Optimized Fractal Tree File System
ABR:CSR:媒介:协作研究:FTFS:读/写优化的分形树文件系统
  • 批准号:
    1938709
  • 财政年份:
    2019
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
CCF-BSF: AF: Small: Collaborative Research: The Dictionary Problem Considered
CCF-BSF:AF:小型:协作研究:考虑的字典问题
  • 批准号:
    1716252
  • 财政年份:
    2017
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
CSR: Medium: Collaborative Research: FTFS: A Read/Write-Optimized Fractal Tree File System
CSR:媒介:协作研究:FTFS:读/写优化的分形树文件系统
  • 批准号:
    1755615
  • 财政年份:
    2016
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
AF: Small: Collaborative Research: Maintaining Order
AF:小:协作研究:维持秩序
  • 批准号:
    1617618
  • 财政年份:
    2016
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
CSR: Medium: Collaborative Research: FTFS: A Read/Write-Optimized Fractal Tree File System
CSR:媒介:协作研究:FTFS:读/写优化的分形树文件系统
  • 批准号:
    1408695
  • 财政年份:
    2014
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
AF: SMALL: Collaborative Research: Data Structures for Parallel Algorithms
AF:小:协作研究:并行算法的数据结构
  • 批准号:
    1217708
  • 财政年份:
    2012
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant

相似国自然基金

肝细胞Mid 1活化加重脓毒症病理进程的分子机制研究及干预策略优化
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
MID1调控肿瘤相关巨噬细胞细胞中IRF8-STING通路在胶质瘤微环境中的作用机制研究
  • 批准号:
    2025JJ70385
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
E3泛素连接酶Mid1调控Treg细胞影响GVHD 的作用及机制研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
线粒体动力蛋白MiD51在IL-27诱导类风湿关节炎DN2-B细胞分化扩增中的作用及机制研究
  • 批准号:
    82302047
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
MID1调控糖稳态的分子机制
  • 批准号:
    32000815
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
MID1基因缺陷对颅神经嵴细胞的影响及唇腭裂形成的分子病理
  • 批准号:
    2020A151501160
  • 批准年份:
    2020
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
水稻MID1和赤霉素互作调控缺水条件下花粉发育的机制研究
  • 批准号:
    31770352
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于最小重要差异值(MID)的冠心病病证结合疗效评价量表中医临床疗效判定阈值研究
  • 批准号:
    81603504
  • 批准年份:
    2016
  • 资助金额:
    17.0 万元
  • 项目类别:
    青年科学基金项目
层级稀疏化的Mid-Level特征空间下高分辨率遥感影像检索方法研究
  • 批准号:
    41401376
  • 批准年份:
    2014
  • 资助金额:
    25.0 万元
  • 项目类别:
    青年科学基金项目
MID器件机电集成数字化设计关键问题的研究
  • 批准号:
    50975241
  • 批准年份:
    2009
  • 资助金额:
    20.0 万元
  • 项目类别:
    面上项目

相似海外基金

BIGDATA: Mid-Scale: ESCE: DCM: Collaborative Research: DataBridge - A Sociometric System for Long-Tail Science Data Collections
BIGDATA:中型:ESCE:DCM:协作研究:DataBridge - 长尾科学数据收集的社会计量系统
  • 批准号:
    1560625
  • 财政年份:
    2015
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
BIGDATA: Mid-Scale: ESCE: Collaborative Research: Discovery and Social Analytics for Large-Scale Scientific Literature
大数据:中等规模:ESCE:协作研究:大规模科学文献的发现和社会分析
  • 批准号:
    1502780
  • 财政年份:
    2014
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
BIGDATA: Mid-Scale DCM: DA: ESCE: Discovering Molecular Processes
BIGDATA:中型 DCM:DA:ESCE:发现分子过程
  • 批准号:
    8840914
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
BIGDATA: Mid-Scale: DCM: A Formal Foundation for Big Data Management
BIGDATA:中型:DCM:大数据管理的正式基础
  • 批准号:
    1247469
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
    Continuing Grant
BIGDATA: Mid-Scale: DA: Collaborative Research: Genomes Galore - Core Techniques, Libraries, and Domain Specific Languages for High-Throughput DNA Sequencing
大数据:中规模:DA:协作研究:基因组丰富 - 高通量 DNA 测序的核心技术、库和领域特定语言
  • 批准号:
    1416259
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
BIGDATA: Mid-Scale: DA : Collaborative Research Big Tensor Mining Theory
BIGDATA:中型:DA:协作研究大张量挖掘理论
  • 批准号:
    8599832
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
BIGDATA: Mid-Scale DCM: DA: ESCE: Discovering Molecular Processes
BIGDATA:中型 DCM:DA:ESCE:发现分子过程
  • 批准号:
    8599838
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
BIGDATA: Mid-Scale: DA: Distribution-based machine learning for high dimensional datasets
BIGDATA:中规模:DA:针对高维数据集的基于分布的机器学习
  • 批准号:
    1247658
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
    Continuing Grant
BIGDATA: Mid-Scale: ESCE: Collaborative Research: Discovery and Social Analytics for Large-Scale Scientific Literature.
大数据:中等规模:ESCE:协作研究:大规模科学文献的发现和社会分析。
  • 批准号:
    1247696
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
BIGDATA: Mid-Scale: DA: ESCE: Collaborative Research: Scalable Statistical Computing for Emerging Omics Data Streams
BIGDATA:中型:DA:ESCE:协作研究:新兴组学数据流的可扩展统计计算
  • 批准号:
    1247813
  • 财政年份:
    2013
  • 资助金额:
    $ 80万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了