SEI(GEO): Scientific Data Operators Optimized for Efficient Distributed Interactive and Batch Analysis of Tera-Scale Geophysical Data
SEI(GEO): Scientific Data Operators Optimized for Efficient Distributed Interactive and Batch Analysis of Tera-Scale Geophysical Data
批准号:
0431203
负责人:
Charles Zender
金额:
$59.44万
依托单位国家:
美国
项目类别:
Standard Grant
财政年份:
2004
资助国家:
美国
项目状态:
已结题
起止时间:
2004-09-01 至 2008-08-31
中文摘要
许多地球物理模拟和几乎所有的气候模型都将其结果存档在数百到数千个文件中,存储空间从千兆字节到兆兆字节不等。在数据分析师能够解释这些数据之前,必须将其缩减到可管理的大小(例如,通过对其求平均)和/或传送到指定位置(例如,台式电脑)。目前,研究人员经常通过互联网从多个位置复制原始数据,以开始他们的数据分析。该项目正在开发科学数据操作员(SDO):高效的软件,使研究人员能够并行地、远程地执行典型的数据简化和分析,而不浪费时间和网络带宽。SDO软件结合了分布式和共享内存编程、客户端-服务器架构和开源开发技术。作为概念验证,将对多个NCAR CCSM IPCC气候评估模拟(每个大约是一个TB)进行分布式分析。本计画亦提供一位研究生进行分布式气候分析之论文研究之支援。在气候建模和分析之外,SDO将产生三个主要影响:(1)通过减少分析、发现和发布新结果的时间来增加大型地球物理数据集的价值;(2)揭示处理分布式地球物理数据时的任何关键带宽、I/O和客户端/服务器瓶颈;以及(3)以类似于生物物理学领域的方式改进对不断增长的生物信息学数据集,特别是基因表达数据的分析。SDO是基于国际上成功的netCDF Operator(NCO)软件的自由软件。 包括该软件在内的项目成果可通过项目网站查阅。
英文摘要
Many geophysical simulations and nearly all climate models archive their results in hundreds to thousands of files spanning gigabytes to terabytes of storage. Before the geophysicist can interpret these data, it must be reduced to a manageable size (e.g., by averaging it) and/or transported to a specified location (e.g., the desktop computer). Currently researchers often copy raw data over the Internet from multiple locations to commence their data analysis. This project is developing the Scientific Data Operators (SDO): efficient software that lets researchers perform typical data reduction and analysis in parallel, remotely, without wasting time and network bandwidth.The SDO software combines distributed and shared memory programming, client-server architecture, and Open Source development techniques. As proof-of-concept, a distributed analysis of multiple NCAR CCSM IPCC climate assessment simulations (each is about a terabyte) within and across national boundaries will be performed. This project also provides support for a graduate student to carry out dissertation research in distributed climate analysis. Outside climate modeling and analysis, SDO will have three main impacts: (1) increase the value of large geophysical datasets by decreasing the time to analyze, discover, and publish new results; (2) reveal any critical bandwidth, I/O, and client/server bottlenecks in processing distributed geophysical data; and (3) improve analysis of growing bioinformatics data sets, especially gene expression data, in ways similar to the geophysics domain. SDO is free software based on the internationally successful netCDF Operator (NCO) software. The project results including this software will be accessible via the project web site.
期刊论文(0)
专著(0)
科研奖励(0)
会议论文
Elements: Advanced Lossless and Lossy Compression Algorithms for netCDF Datasets in Earth and Engineering Sciences (CANDEE)
-
批准号:2004993
-
项目类别:Standard Grant
-
资助金额:$59.99万
-
财政年份:2020
-
负责人:Charles Zender
-
依托单位:
Snow Process Studies and Modeling to Improve Arctic Climate Prediction
-
批准号:0714088
-
项目类别:Continuing Grant
-
资助金额:$51.85万
-
财政年份:2007
-
负责人:Charles Zender
-
依托单位:
SGER: Improving Community Climate System Model (CCSM) Snow/Ice Radiative and Heating Processes and Asssessing the Importance of the Soot Albedo Effect
-
批准号:0503148
-
项目类别:Standard Grant
-
资助金额:$2.68万
-
财政年份:2005
-
负责人:Charles Zender
-
依托单位:
Acquisition of an Earth System Modeling Facility for Coupled Climate, Chemistry, and Biogeochemistry Studies
-
批准号:0321380
-
项目类别:Standard Grant
-
资助金额:$77.35万
-
财政年份:2003
-
负责人:Charles Zender
-
依托单位:
Collaborative Research: Using Measurements from the Columbia Plateau Eolian System to Improve Global-Scale Models of Mineral-Dust Aerosols
-
批准号:0214430
-
项目类别:Continuing Grant
-
资助金额:$8.84万
-
财政年份:2002
-
负责人:Charles Zender
-
依托单位:
国内基金
海外基金
登录
查看更多内容
X射线延时成像用Zn2GeO4:Mn2+微晶玻璃闪烁体的可控制备及余辉增强机理研究
-
批准号:QN25E020046
-
项目类别:省市级项目
-
资助金额:--
-
批准年份:2025
-
负责人:赵静涛
-
依托单位:
基于测控信号的GEO卫星授时方法研究
-
批准号:12403079
-
项目类别:青年科学基金项目
-
资助金额:30.00万元
-
批准年份:2024
-
负责人:王伟
-
依托单位:
基于“Geo-marker新概念—HPLC-MS-SPE-NMR联用技术—RONUS-HSQC新方法”研究中药道地性的物质基础——以川芎为例
-
批准号:82374152
-
项目类别:面上项目
-
资助金额:48万元
-
批准年份:2023
-
负责人:熊亮
-
依托单位:
短基线干涉相时延测量方法及其在GEO卫星机动监测中的应用研究
-
批准号:--
-
项目类别:面上项目
-
资助金额:55万元
-
批准年份:2022
-
负责人:韦沛
-
依托单位:
GEO SAR城市超分辨3D成像一体化理论及关键技术研究
-
批准号:--
-
项目类别:青年科学基金项目
-
资助金额:30万元
-
批准年份:2022
-
负责人:陈志扬
-
依托单位:
基于GEO SAR系统的大气水汽反演理论与方法研究
-
批准号:--
-
项目类别:青年科学基金项目
-
资助金额:30万元
-
批准年份:2022
-
负责人:李德鑫
-
依托单位:
GEO星机双站低频超宽带SAR成像理论与方法研究
-
批准号:
-
项目类别:省市级项目
-
资助金额:10.0万元
-
批准年份:2021
-
负责人:谢洪途
-
依托单位:
北斗GEO信号在陕北空域对流层传播规律研究及其延迟模型重构
-
批准号:62141107
-
项目类别:专项基金项目
-
资助金额:12万元
-
批准年份:2021
-
负责人:曹新亮
-
依托单位:
GEO星机双基SAR高分辨率宽幅成像技术
-
批准号:62101096
-
项目类别:青年科学基金项目(C类)
-
资助金额:30.0万元
-
批准年份:2021
-
负责人:安洪阳
-
依托单位:
北斗星间链路支持GEO航天器高精度轨道确定关键技术研究
-
批准号:--
-
项目类别:青年科学基金项目
-
资助金额:24万元
-
批准年份:2020
-
负责人:巩秀强
-
依托单位: