OAC Core: Improving Data Integrity for HPC Datasets using Sparsity Profile
OAC 核心:使用稀疏性配置文件提高 HPC 数据集的数据完整性
基本信息
- 批准号:2312982
- 负责人:
- 金额:$ 60万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2023
- 资助国家:美国
- 起止时间:2023-06-01 至 2026-05-31
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
Scientists conduct analyses that rely on large-scale simulations to achieve breakthroughs in multiple scientific domains, such as climate, energy, quantum physics, and more. As system complexity increases, future large-scale systems and the data generated, processed, stored, and transmitted by them are subject to increasingly higher occurrences of soft errors or silent data corruption. Importantly, this silently compromised data may go undetected because current High-Performance Computing (HPC) software stacks largely lack mechanisms to inform scientists of silent data corruption that could adversely affect the integrity of their scientific interpretation. In order to combat silent data corruption in HPC systems, this project introduces highly efficient and cost-effective mechanisms to monitor and detect soft errors. Through the use of unsupervised error detection, this project increases scientists’ confidence in extreme-scale scientific simulations and data analyses, which advance the data-intensive science discovery needed to solve some of the world’s most complex contemporary problems, such as predicting severe weather conditions, designing new materials, making new energy sources pragmatic, and others. The methodologies of this project are also applicable to general-purpose computing systems, increasing security and reliability on traditional computing and Internet of Things devices.This research applies compressive sensing and machine learning, especially an unsupervised approach, to accurately detect soft and hardware errors in current and future HPC systems. A compact representation that corresponds to the original dataset is efficiently obtained through compressive sensing coupled with a hardware-assisted data collection mechanism that requires no changes to existing infrastructure. This is used with a spatiotemporal anomaly detection model for in situ characterization of soft errors and errors caused by a hardware malfunction, detecting anomalies deviating from acceptable ranges. The approach is built into the scientific workflow and operates seamlessly with the application without requiring application modification or customization. Validation of the mechanism across multiple HPC platforms using scientific workflows allows scientists to analyze and verify their datasets with increased levels of trust.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
科学家们进行分析,依靠大规模模拟来实现多个科学领域的突破,如气候、能源、量子物理等。随着系统复杂性的增加,未来的大型系统及其生成、处理、存储和传输的数据将越来越容易出现软错误或静默数据损坏。重要的是,这种被悄无声息地破坏的数据可能不会被发现,因为当前的高性能计算(HPC)软件堆栈在很大程度上缺乏告知科学家可能对其科学解释的完整性产生不利影响的无声数据损坏的机制。为了打击高性能计算系统中的静默数据损坏,本项目引入了高效和经济的机制来监测和检测软错误。通过使用无监督错误检测,该项目提高了科学家对极端尺度科学模拟和数据分析的信心,从而推进了解决一些世界上最复杂的当代问题所需的数据密集型科学发现,如预测恶劣天气条件、设计新材料、使新能源实用等。该项目的方法也适用于通用计算系统,提高传统计算和物联网设备的安全性和可靠性。本研究应用压缩感知和机器学习,特别是一种无监督的方法,来准确检测当前和未来HPC系统中的软、硬件错误。通过压缩感知和硬件辅助的数据收集机制(不需要更改现有基础设施),可以有效地获得与原始数据集对应的紧凑表示。这与时空异常检测模型一起使用,用于对软误差和由硬件故障引起的误差进行原位表征,检测偏离可接受范围的异常。该方法内置于科学工作流程中,无需对应用程序进行修改或自定义,即可与应用程序无缝操作。使用科学工作流程跨多个HPC平台的机制验证使科学家能够以更高的信任水平分析和验证他们的数据集。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(1)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Anomaly Detection in Scientific Datasets using Sparse Representation
使用稀疏表示的科学数据集中的异常检测
- DOI:10.1145/3588982.3603610
- 发表时间:2023
- 期刊:
- 影响因子:0
- 作者:Moon, Aekyeung;Kim, Minjun;Chen, Jiaxi;Son, Seung Woo
- 通讯作者:Son, Seung Woo
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Seung Woo Son其他文献
Seung Woo Son的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Seung Woo Son', 18)}}的其他基金
CAREER: Reliable and Efficient Data Encoding for Extreme-Scale Simulation and Analysis
职业:用于超大规模仿真和分析的可靠且高效的数据编码
- 批准号:
1751143 - 财政年份:2018
- 资助金额:
$ 60万 - 项目类别:
Continuing Grant
相似国自然基金
葛根素通过肠道核心菌Parabacteroides distasonis调控花生四烯酸代谢改善多囊卵巢综合征的作用机制
- 批准号:JCZRYB202500667
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于“软坚化瘀”理论探讨黑布药膏及其核心成分调控TGF-β1/TRPC3通路改善病理性瘢痕的作用机制
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
从核心时钟基因调控研究电针改善促排卵小鼠模型种植窗时相偏移的作用机制
- 批准号:82274638
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:面上项目
以m6A甲基化酶WTAP驱动外泌体circ_CBLB为核心的RNA调控网络研究新风胶囊改善RA“炎症极化”机制
- 批准号:82274501
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:面上项目
内核心训练改善产后骨盆带疼痛的运动生物力学机制研究
- 批准号:2022J01885
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
参芪复方调控“微观物流核心”DCV改善胰岛β细胞功能减少糖尿病血糖波动的机制研究
- 批准号:
- 批准年份:2021
- 资助金额:30 万元
- 项目类别:青年科学基金项目
竞合供应链中核心零部件的柔性采购策略与供应可靠性改善
- 批准号:72101180
- 批准年份:2021
- 资助金额:30 万元
- 项目类别:青年科学基金项目
从脑肠轴探讨维生素A改善孤独症临床症状的作用及机制
- 批准号:81770526
- 批准年份:2017
- 资助金额:51.0 万元
- 项目类别:面上项目
HCBP6激活棕色脂肪改善非酒精性脂肪肝病的作用机制研究
- 批准号:81700508
- 批准年份:2017
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
基于蒙医三子汤为核心的系列方剂改善微血管作用及对CIA大鼠模型新生血管的影响
- 批准号:81660836
- 批准年份:2016
- 资助金额:33.0 万元
- 项目类别:地区科学基金项目
相似海外基金
Collaborative Research: SaTC: CORE: Small: Measuring, Validating and Improving upon App-Based Privacy Nutrition Labels
合作研究:SaTC:核心:小型:测量、验证和改进基于应用程序的隐私营养标签
- 批准号:
2247952 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Improving Immunization Services and Health Outcomes for Children and Families in the Saskatchewan Health Authority - North, East, South, West, and Core Health Networks: A Community-Based Participatory Research Project
改善萨斯喀彻温省卫生局儿童和家庭的免疫服务和健康成果 - 北部、东部、南部、西部和核心卫生网络:基于社区的参与性研究项目
- 批准号:
492850 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Improving awareness of women with hypertension: ROAR (Rural, Obese, At Risk) - Leadership Administrative Core (LAC)
提高女性高血压患者的意识:ROAR(农村、肥胖、危险)- 领导行政核心 (LAC)
- 批准号:
10714534 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Collaborative Research: SaTC: CORE: Small: Measuring, Validating and Improving upon App-Based Privacy Nutrition Labels
合作研究:SaTC:核心:小型:测量、验证和改进基于应用程序的隐私营养标签
- 批准号:
2247953 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Improving awareness of women with hypertension: ROAR (Rural, Obese, At Risk) Career Enhancement Core
提高女性高血压患者的意识:ROAR(农村、肥胖、高危)职业提升核心
- 批准号:
10714535 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Improving self-management of lower back pain with a core activity detecting belt
使用核心活动检测带改善腰痛的自我管理
- 批准号:
MR/X013464/1 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Research Grant
Improving self-management of Lower Back Pain in elderly with a core activity detecting belt
使用核心活动检测带改善老年人腰痛的自我管理
- 批准号:
ES/Y009908/1 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Research Grant
Collaborative Research: SaTC: CORE: Small: Measuring, Validating and Improving upon App-Based Privacy Nutrition Labels
合作研究:SaTC:核心:小型:测量、验证和改进基于应用程序的隐私营养标签
- 批准号:
2247951 - 财政年份:2023
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
SaTC: CORE: Small: Corporeal Cybersecurity: Improving End-User Security and Privacy with Physicalized Computing Interface
SaTC:核心:小型:实体网络安全:通过物理化计算接口提高最终用户安全和隐私
- 批准号:
2316294 - 财政年份:2022
- 资助金额:
$ 60万 - 项目类别:
Standard Grant
Collaborative Research: SaTC: CORE: Small: Improving Sanitization and Avoiding Denial of Service Through Correct and Safe Regexes
协作研究:SaTC:核心:小型:通过正确和安全的正则表达式改进清理并避免拒绝服务
- 批准号:
2135157 - 财政年份:2022
- 资助金额:
$ 60万 - 项目类别:
Standard Grant