Collaborative Research: SDCI Net: Policy-driven Large Scale Data Access Framework with Light-weight Performance Monitoring and Estimation
合作研究:SDCI Net:策略驱动的大规模数据访问框架,具有轻量级性能监控和估计
基本信息
- 批准号:1127101
- 负责人:
- 金额:$ 60万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2011
- 资助国家:美国
- 起止时间:2011-08-01 至 2015-01-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Large-scale science applications are expected to generate exabytes of data over the next 5 to 10 years. With scientific data collected at unprecedented volumes and rates, the success of large scientific collaborations will require that they provide distributed data access with improved data access latencies and increased reliability to a large user community. To meet these requirements, scientific collaborations are increasingly replicating large datasets over high-speed networks to multiple sites. The main objective of this work is to develop and deploy a general-purpose data access framework for scientific collaborations that provides lightweight performance monitoring and estimation, fine-grained and adaptive data transfer management, and enforcement of site and Virtual Organization policies for resource sharing. Lightweight mechanisms will collect monitoring information from data movement tools without putting extra loads on the shared resources. Data transfer management mechanisms will select transfer properties based on each transfer's performance estimation and will adapt those properties when observed performance changes due to the dynamic load on storage, network and other resources. Finally, policy-driven resource management using Virtual Organization policies regarding replication and resource allocation will balance user requirements for data freshness with the load on resources.Intellectual merit: The team will produce a software framework that will improve the ability of distributed scientific collaborations to provide efficient access to replicated datasets by a large community of users; this framework will combine fine-grained transfer management, transfer advice from policy-driven resource management, and light-weight monitoring. Broader impact: The proposed development will facilitate scientific advances in many domains that increasingly depend on replication and sharing of ever-growing datasets.
预计在未来5到10年内,大规模科学应用将产生艾字节的数据。随着科学数据以前所未有的数量和速度收集,大型科学协作的成功将要求它们向大型用户社区提供分布式数据访问,改善数据访问延迟并提高可靠性。为了满足这些要求,科学协作越来越多地通过高速网络将大型数据集复制到多个站点。这项工作的主要目标是为科学协作开发和部署一个通用数据访问框架,该框架提供轻量级的性能监测和估计、细粒度和自适应的数据传输管理以及执行站点和虚拟组织的资源共享政策。轻量级机制将从数据移动工具收集监控信息,而不会给共享资源带来额外的负载。数据传输管理机制将根据每次传输的性能估计来选择传输属性,并在观察到由于存储、网络和其他资源上的动态负载而导致的性能变化时调整这些属性。最后,使用有关复制和资源分配的虚拟组织策略的策略驱动的资源管理将平衡用户对数据新鲜度的需求和资源的负载。智力优势:该团队将开发一个软件框架,该框架将提高分布式科学协作的能力,为大量用户提供对复制数据集的高效访问;该框架将结合细粒度的传输管理、来自策略驱动的资源管理的传输建议和轻量级监控。更广泛的影响:拟议的发展将促进许多领域的科学进步,这些领域越来越依赖不断增长的数据集的复制和共享。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Ann Chervenak其他文献
Ann Chervenak的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Ann Chervenak', 18)}}的其他基金
DC: Medium: Intelligent Data Placement in Support of Scientific Workflows
DC:中:支持科学工作流程的智能数据放置
- 批准号:
0905032 - 财政年份:2009
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Career: The Personal Terabyte Disk: Managing and Exploiting Large Future Magnetic Disks
职业:个人 TB 磁盘:管理和利用未来大型磁盘
- 批准号:
9702609 - 财政年份:1997
- 资助金额:
$ 60万 - 项目类别:
Continuing Grant
相似国自然基金
Research on Quantum Field Theory without a Lagrangian Description
- 批准号:24ZR1403900
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
Cell Research
- 批准号:31224802
- 批准年份:2012
- 资助金额:24.0 万元
- 项目类别:专项基金项目
Cell Research
- 批准号:31024804
- 批准年份:2010
- 资助金额:24.0 万元
- 项目类别:专项基金项目
Cell Research (细胞研究)
- 批准号:30824808
- 批准年份:2008
- 资助金额:24.0 万元
- 项目类别:专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
- 批准号:10774081
- 批准年份:2007
- 资助金额:45.0 万元
- 项目类别:面上项目
相似海外基金
Collaborative Research: SDCI Sec: Metadata Management Software Tools to Support Research and Development of Cyberinfrastructure
合作研究:SDCI Sec:支持网络基础设施研究和开发的元数据管理软件工具
- 批准号:
1127406 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
SDCI Net: Collaborative Research: An integrated study of datacenter networking and 100 GigE wide-area networking in support of distributed scientific computing
SDCI Net:协作研究:支持分布式科学计算的数据中心网络和 100 GigE 广域网的综合研究
- 批准号:
1127341 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Sec: Metadata Management Software Tools to Support Research and Development of Cyberinfrastructure
合作研究:SDCI Sec:支持网络基础设施研究和开发的元数据管理软件工具
- 批准号:
1127500 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Net: Policy-driven Large Scale Data Access Framework with Light-weight Performance Monitoring and Estimation
合作研究:SDCI Net:策略驱动的大规模数据访问框架,具有轻量级性能监控和估计
- 批准号:
1127039 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Interagency Agreement
SDCI Net: Collaborative Research: An integrated study of datacenter networking and 100 GigE wide-area networking in support of distributed scientific computing
SDCI Net:协作研究:支持分布式科学计算的数据中心网络和 100 GigE 广域网的综合研究
- 批准号:
1127228 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
SDCI Net: Collaborative Research: An integrated study of datacenter networking and 100 GigE wide-area networking in support of distributed scientific computing
SDCI Net:协作研究:支持分布式科学计算的数据中心网络和 100 GigE 广域网的综合研究
- 批准号:
1127340 - 财政年份:2011
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Net New: The Missing Link: Connecting Eucalyptus Clouds with Multi-Layer Networks
合作研究:SDCI Net 新:缺失的环节:将桉树云与多层网络连接起来
- 批准号:
1032765 - 财政年份:2010
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Net Improvement: Web10Gig - Taking TCP instrumentation to the Next Level
协作研究:SDCI 网络改进:Web10Gig - 将 TCP 检测提升到新水平
- 批准号:
1032622 - 财政年份:2010
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Net Improvement: Web10Gig - Taking TCP instrumentation to the Next Level
协作研究:SDCI 网络改进:Web10Gig - 将 TCP 检测提升到新水平
- 批准号:
1032813 - 财政年份:2010
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SDCI Net New: The Missing Link: Connecting Eucalyptus Clouds with Multi-Layer Networks
合作研究:SDCI Net 新:缺失的环节:将桉树云与多层网络连接起来
- 批准号:
1032573 - 财政年份:2010
- 资助金额:
$ 60万 - 项目类别:
Standard Grant