SHF: Small: Developing a Highly Efficient and Accurate Approximation System for Warehouse-Scale Computers with the Sub-dataset Distribution Aware Approach

SHF:小型:采用子数据集分布感知方法为仓库规模计算机开发高效、准确的近似系统

基本信息

项目摘要

Despite the fact that today's warehouse-scale computers supply enormous data processing capacity, getting an ad-hoc query answer from a big dataset remains challenging. To attack the problem, recent years have seen one trend to exploit approximate computing to achieve faster execution on a much smaller sample of the original data by sacrificing result accuracy to a reasonable extent. Both offline based sampling approaches and online cluster sampling solutions have been gradually deployed in a real world to accelerate big data query. Educational benefits arise from broadening the experience of students from a top ranked Hispanic Ph.D. degree awarding institution and enhanced computer science/engineering curriculum activities. The online cross-institution undergraduate elective course about warehouse-scale computer and big data will be helpful in providing a re-imagined learning experience that makes optimum use of today's technologies supplemented by a broad range of media-rich study materials that students from three different universities. There are major difficulties in developing an integrated hardware and software, scalable approximation system.  The main challenge is to minimize the total size of accessed data and its associative I/O overhead subject to a given error bound. Existing popular cluster sampling with equal probability solutions do not deal well with many real-world applications following a non-uniform distribution. This research aims to tackle those challenges by investigating new sub-dataset distribution aware methods to capture sub-dataset distributions especially for non-uniform types, applying cluster sampling with unequal probability to address the inefficient sampling and large variance problem caused by non-uniform sub-dataset distribution, and taking into account the unique properties of sampling process to match with the computer hardware features, such as SSD arrays to unleash their full potential. The research will ensure future big data approximation system enables high velocity of big-data analytics to revolutionize the way that people interact with the world; and high productivity improvement of the economic impact through the efficient and effective data processing.
尽管今天的仓库规模的计算机提供了巨大的数据处理能力,但从大数据集中获得临时查询答案仍然具有挑战性。为了解决这个问题,近年来已经看到一种趋势,即利用近似计算,通过在合理的程度上牺牲结果准确性来实现对原始数据的小得多的样本的更快执行。基于离线的采样方法和在线聚类采样解决方案已经逐渐部署在真实的世界中以加速大数据查询。扩大顶级西班牙裔博士生的经验会带来教育好处学位授予机构和加强计算机科学/工程课程活动。关于仓库规模的计算机和大数据的在线跨机构本科选修课程将有助于提供一个重新想象的学习体验,最大限度地利用当今的技术,并辅之以广泛的媒体丰富的学习材料,来自三所不同大学的学生。主要的挑战是在给定的错误范围内最小化访问数据的总大小及其关联I/O开销。现有的流行的等概率整群抽样解决方案不能很好地处理许多现实世界中的应用,以下的非均匀分布。本研究旨在通过研究新的子数据集分布感知方法来捕获子数据集分布,特别是对于非均匀类型,应用不等概率的聚类抽样来解决非均匀子数据集分布引起的低效抽样和大方差问题,并考虑到抽样过程的独特属性以匹配计算机硬件特征,例如固态硬盘阵列,以充分发挥其潜力。该研究将确保未来的大数据近似系统能够实现高速的大数据分析,从而彻底改变人们与世界互动的方式;并通过高效和有效的数据处理提高经济影响的生产力。

项目成果

期刊论文数量(4)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Lelantus: Fine-Granularity Copy-On-Write Operations for Secure Non-Volatile Memories
Lelantus:用于安全非易失性存储器的细粒度写时复制操作
ArchSampler: Architecture-Aware Memory Sampling Library for In-Memory Applications
ArchSampler:适用于内存应用程序的架构感知内存采样库
An I/O Efficient Distributed Approximation Framework Using Cluster Sampling
使用聚类采样的 I/O 高效分布式近似框架
Exploring Architecture, Dataflow, and Sparsity for GCN Accelerators: A Holistic Framework
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Jun Wang其他文献

Preparation of PVDF-CTFE hydrophobic membranes for MD application: Effect of LiCl-based mixed additives
MD 应用的 PVDF-CTFE 疏水膜的制备:LiCl 基混合添加剂的影响
  • DOI:
    10.1016/j.memsci.2016.01.044
  • 发表时间:
    2016-05
  • 期刊:
  • 影响因子:
    9.5
  • 作者:
    Libing Zheng;Zhenjun Wu;Yuansong Wei;Yong Zhang;Yue Yuan;Jun Wang
  • 通讯作者:
    Jun Wang
Arc Modelling and Simulation Analysis of Resonant Grounding System with High Impedance Arcing Faults
高阻抗电弧故障谐振接地系统的电弧建模与仿真分析
Occurrence of the earliest gigantopterid from the basal Permian of the North China Block and its bearing on evolution
华北地块基底二叠系最早的巨蕨类植物的出现及其对演化的影响
  • DOI:
    10.1002/gj.2907
  • 发表时间:
  • 期刊:
  • 影响因子:
    1.8
  • 作者:
    Weiming Zhou;Mingli Wan;Rebecca A. Koll;Jun Wang
  • 通讯作者:
    Jun Wang
On Smith's determinant
关于史密斯行列式
  • DOI:
    10.1016/s0024-3795(96)00192-9
  • 发表时间:
    1997
  • 期刊:
  • 影响因子:
    0
  • 作者:
    P. Haukkanen;Jun Wang;J. Sillanpää
  • 通讯作者:
    J. Sillanpää
Simulation study of a 4H-SiC lateral BJT for monolithic power integration
用于单片功率集成的 4H-SiC 横向 BJT 仿真研究
  • DOI:
    10.1088/1674-4926/39/12/124004
  • 发表时间:
    2018-12
  • 期刊:
  • 影响因子:
    5.1
  • 作者:
    Shiwei Liang;Jun Wang;Fang Fang;Linfeng Deng
  • 通讯作者:
    Linfeng Deng

Jun Wang的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Jun Wang', 18)}}的其他基金

SHF: Small: Taming Huge Page Problems for Memory Bulk Operations Using a Hardware/Software Co-Design Approach
SHF:小:使用硬件/软件协同设计方法解决内存批量操作的大页面问题
  • 批准号:
    2400014
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CDS&E/Collaborative Research: Data-Driven Inverse Design of Additively Manufacturable Aperiodic Architected Cellular Materials
CDS
  • 批准号:
    2245299
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Discovery Projects - Grant ID: DP210101645
发现项目 - 拨款 ID:DP210101645
  • 批准号:
    ARC : DP210101645
  • 财政年份:
    2021
  • 资助金额:
    $ 45万
  • 项目类别:
    Discovery Projects
PPoSS: Planning: Data Centric Computing for Scalable Heterogeneous Memory and Storage Systems Architecture
PPoSS:规划:可扩展异构内存和存储系统架构的以数据为中心的计算
  • 批准号:
    2028481
  • 财政年份:
    2020
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SHF: Small: Revamping I/O Architectures Using Machine Learning Techniques on Big Compute Machines
SHF:小型:在大型计算机上使用机器学习技术改进 I/O 架构
  • 批准号:
    1907765
  • 财政年份:
    2019
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SHF: Small: Multi-criteria optimization control for temperature constrained energy efficient data center using fuzzy decision making theory
SHF:小型:利用模糊决策理论对温度受限节能数据中心进行多准则优化控制
  • 批准号:
    1527249
  • 财政年份:
    2015
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
XPS: SDA: Collaborative Research: A Scalable and Distributed System Framework for Compute-Intensive and Data-Parallel Applications
XPS:SDA:协作研究:用于计算密集型和数据并行应用的可扩展分布式系统框架
  • 批准号:
    1337244
  • 财政年份:
    2013
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CSR: Small: DSA-Cloud: Data Semantics Aware Clouds for High Performance Analytics
CSR:小型:DSA-Cloud:用于高性能分析的数据语义感知云
  • 批准号:
    1115665
  • 财政年份:
    2011
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SOCS: Socially Intelligent Computing to Support Citizen Science
SOCS:支持公民科学的社会智能计算
  • 批准号:
    0968470
  • 财政年份:
    2010
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CAREER: Data-Intensive HPC Analytics: A Systems Approach Through Extended Interfaces, Data Restructuring and Data-centric Scheduling
职业:数据密集型 HPC 分析:通过扩展接口、数据重组和以数据为中心的调度的系统方法
  • 批准号:
    0953946
  • 财政年份:
    2010
  • 资助金额:
    $ 45万
  • 项目类别:
    Continuing Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Developing a novel therapeutic strategy to overcome multidrug resistance in small-cell lung cancer by activating innate immunity
开发一种新的治疗策略,通过激活先天免疫来克服小细胞肺癌的多药耐药性
  • 批准号:
    23K07639
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Limbo urbanism: developing planning theories and practices from small but rapidly urbanising places in the South West Asian/North African region
《地狱边境城市主义:从西南亚/北非地区小型但快速城市化的地方发展规划理论和实践》
  • 批准号:
    ES/Y007735/1
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Fellowship
AEON - Development of an innovative, floating, dual-energy platform (60kW) for Small Island Developing States
AEON - 为小岛屿发展中国家开发创新型浮动双能源平台(60kW)
  • 批准号:
    10041204
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Collaborative R&D
Learn, transfer, generate: Developing novel deep learning models for enhancing robustness and accuracy of small-scale single-cell RNA sequencing studies
学习、转移、生成:开发新颖的深度学习模型,以增强小规模单细胞 RNA 测序研究的稳健性和准确性
  • 批准号:
    10535708
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
Developing novel small molecule boosting agents for anti-cancer engineered T cell therapies
开发用于抗癌工程 T 细胞疗法的新型小分子增强剂
  • 批准号:
    486498
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    Studentship Programs
A novel miniaturised atmospheric aerosol satellite instrument: developing a small form factor multi-angle spectropolarimeter
新型小型化大气气溶胶卫星仪器:开发小型多角度分光偏振计
  • 批准号:
    2780824
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    Studentship
Developing corrector small molecules for reactivation of mutant p53 in cancer
开发用于重新激活癌症中突变 p53 的校正小分子
  • 批准号:
    10512976
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
Analysis of the impacts of environmental fluctuations and commercial catches of small pelagic fishes on a coastal ecosystem for developing sustainable fishery management strategies
分析环境波动和小型中上层鱼类商业捕捞对沿海生态系统的影响,以制定可持续渔业管理战略
  • 批准号:
    22K05804
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Developing travel behaviour models, and transportation and emissions simulation tools for a small Canadian municipality
为加拿大的一个小城市开发出行行为模型以及交通和排放模拟工具
  • 批准号:
    567108-2021
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    Alliance Grants
Characterizing and developing RNA biosensors to small metabolites
表征和开发小代谢物的 RNA 生物传感器
  • 批准号:
    573543-2022
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    University Undergraduate Student Research Awards
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了