Collaborative Research: Application-adaptive I/O Stack for Data-intensive Scientific Computing

协作研究:用于数据密集型科学计算的应用自适应 I/O 堆栈

基本信息

项目摘要

Advances in computational sciences have been greatly accelerated by the rapid growth of high-end computing (HEC) facilities. However, the continuous speedup of end-to-end scientific discovery cycles relies on the ability to store, share, and analyze the terabytes and petabytes of data generated by today's supercomputers. With the growing performance gap between I/O systems and processor/memory units, data storage and accesses are inevitably becoming more bottleneck-prone. In this proposal, we address the I/O stack performance problem with adaptive optimizations at multiple layers of the HEC I/O stack (from high-level scientific data libraries to secondary storage devices and archiving systems), and propose effective communication schemes to integrate such optimizations across layers. In particular, our proposed PATIO (Parallel AdapTive I/O) framework explores multi-layer caching/prefetching that coordinates storage resources ranging from processors to tape archiving systems. This novel approach will bridge existing disjoint optimization efforts at each individual layer and responds to the critical call of improving the overall I/O system performance with increasingly deep HEC I/O stacks.
高端计算(HEC)设施的快速增长大大加速了计算科学的进步。然而,端到端科学发现周期的持续加速依赖于存储、共享和分析当今超级计算机生成的TB和PB数据的能力。随着I/O系统和处理器/存储器单元之间的性能差距越来越大,数据存储和访问不可避免地变得越来越容易出现数据校验。在这个建议中,我们解决的I/O堆栈性能问题,自适应优化在多个层次的HEC I/O堆栈(从高层次的科学数据库,二级存储设备和归档系统),并提出有效的通信方案,跨层集成这样的优化。特别是,我们提出的PATIO(并行AdapTive I/O)框架探讨了多层缓存/预取,协调存储资源,从处理器到磁带归档系统。这种新颖的方法将在每个单独的层上桥接现有的不相交的优化工作,并响应通过越来越深的HEC I/O堆栈来提高整体I/O系统性能的关键呼叫。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Anand Sivasubramaniam其他文献

Network-Based Parallel Computing. Communication, Architecture, and Applications
基于网络的并行计算。
  • DOI:
    10.1007/10704826
  • 发表时间:
    1999
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Anand Sivasubramaniam;Mario Lauria
  • 通讯作者:
    Mario Lauria

Anand Sivasubramaniam的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Anand Sivasubramaniam', 18)}}的其他基金

FoMR: Shrinking the Control and Data Flow Latencies of Single Thread Executions for Emerging Workloads
FoMR:缩短新兴工作负载的单线程执行的控制和数据流延迟
  • 批准号:
    1912495
  • 财政年份:
    2019
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
SHF:Small: Integrated Hardware-Software Power Regulation, Allocation and Isolation in Consolidated Servers
SHF:Small:整合服务器中的集成硬件-软件电源调节、分配和隔离
  • 批准号:
    1714389
  • 财政年份:
    2017
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
SHF: Small: Virtualizing Coordinated Resource Management of Flows on Handhelds with VIADUCT
SHF:小型:使用 VIADUCT 对手持设备上的流进行虚拟化协调资源管理
  • 批准号:
    1526750
  • 财政年份:
    2015
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
CSR: Medium: Provisioning and Harnessing Energy Storage for Datacenter Demand Response
CSR:中:为数据中心需求响应配置和利用能源存储
  • 批准号:
    1302225
  • 财政年份:
    2013
  • 资助金额:
    $ 2万
  • 项目类别:
    Continuing Grant
Collaborative Research: CSR---SMA+AES: Pro-Active Runtime Health Enhancement of Large-Scale Parallel Systems Using PROGNOSIS
合作研究:CSR---SMA AES:使用 PROGNOSIS 主动增强大规模并行系统的运行时健康状况
  • 批准号:
    0615097
  • 财政年份:
    2006
  • 资助金额:
    $ 2万
  • 项目类别:
    Continuing Grant
HECURA: Exploiting Asymmetry in Performance and Security Requirements for I/O in High-end Computing
HECURA:利​​用高端计算中 I/O 性能和安全要求的不对称性
  • 批准号:
    0621429
  • 财政年份:
    2006
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: CSR-SMA+AES: PROGNOSIS to Enhance the Runtime Health of Large Scale Parallel Systems
合作研究:CSR-SMA AES:增强大规模并行系统运行时健康状况的预测
  • 批准号:
    0509234
  • 财政年份:
    2005
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Tools and Techniques for Integrated Power Management of Server Disks
服务器磁盘集成电源管理的工具和技术
  • 批准号:
    0429500
  • 财政年份:
    2004
  • 资助金额:
    $ 2万
  • 项目类别:
    Continuing Grant
ITR: Data-Driven Autonomic Performance Modulation for Servers
ITR:数据驱动的服务器自主性能调制
  • 批准号:
    0325056
  • 财政年份:
    2003
  • 资助金额:
    $ 2万
  • 项目类别:
    Continuing Grant
CISE Research Resources: From High Performance to Low Power: Infrastructure for Ubiquitous Computing
CISE 研究资源:从高性能到低功耗:普适计算的基础设施
  • 批准号:
    0130143
  • 财政年份:
    2002
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: Uncovering the adaptive origins of fossil apes through the application of a transdisciplinary approach
合作研究:通过应用跨学科方法揭示类人猿化石的适应性起源
  • 批准号:
    2316612
  • 财政年份:
    2024
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: Uncovering the adaptive origins of fossil apes through the application of a transdisciplinary approach
合作研究:通过应用跨学科方法揭示类人猿化石的适应性起源
  • 批准号:
    2316615
  • 财政年份:
    2024
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: Uncovering the adaptive origins of fossil apes through the application of a transdisciplinary approach
合作研究:通过应用跨学科方法揭示类人猿化石的适应性起源
  • 批准号:
    2316614
  • 财政年份:
    2024
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: Uncovering the adaptive origins of fossil apes through the application of a transdisciplinary approach
合作研究:通过应用跨学科方法揭示类人猿化石的适应性起源
  • 批准号:
    2316613
  • 财政年份:
    2024
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: HCC: Small: Computational Design and Application of Wearable Haptic Knits
合作研究:HCC:小型:可穿戴触觉针织物的计算设计与应用
  • 批准号:
    2301355
  • 财政年份:
    2023
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: HCC: Small: Computational Design and Application of Wearable Haptic Knits
合作研究:HCC:小型:可穿戴触觉针织物的计算设计与应用
  • 批准号:
    2301357
  • 财政年份:
    2023
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: HCC: Small: Computational Design and Application of Wearable Haptic Knits
合作研究:HCC:小型:可穿戴触觉针织物的计算设计与应用
  • 批准号:
    2301356
  • 财政年份:
    2023
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
SCH: INT: Collaborative Research: DeepSense: Interpretable Deep Learning for Zero-effort Phenotype Sensing and Its Application to Sleep Medicine
SCH:INT:合作研究:DeepSense:零努力表型感知的可解释深度学习及其在睡眠医学中的应用
  • 批准号:
    2313481
  • 财政年份:
    2022
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
Collaborative Research: Estuarine metabolism and gas exchange determined from dissolved oxygen time series: method development, field evaluation, and application to historical data
合作研究:根据溶解氧时间序列确定河口代谢和气体交换:方法开发、现场评估和历史数据应用
  • 批准号:
    2311052
  • 财政年份:
    2022
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
DMS/NIGMS 1: Collaborative Research: Advanced Ion Channel Modeling and Computational Tools with Application to Voltage-Dependent Anion Channel and Mitochondrial Model Development
DMS/NIGMS 1:合作研究:先进离子通道建模和计算工具,应用于电压依赖性阴离子通道和线粒体模型开发
  • 批准号:
    2153387
  • 财政年份:
    2022
  • 资助金额:
    $ 2万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了