CNS Core: SMALL: Clarifying Experimenter Bias by Identifying and Visualizing Experiment Bottlenecks

CNS 核心:SMALL:通过识别和可视化实验瓶颈来澄清实验者偏见

基本信息

  • 批准号:
    1908020
  • 负责人:
  • 金额:
    $ 49.69万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2019
  • 资助国家:
    美国
  • 起止时间:
    2019-07-01 至 2023-06-30
  • 项目状态:
    已结题

项目摘要

Running experiments to measure the performance of a system and comparing its performance to other works is a routine procedure of computer science research. However, an experimenter usually has a natural tendency to choose the experimental setting in favor of his/her own work. This may introduce unfairness into the comparison. Instead of trying to eliminate such bias, which is difficult because human effort is unavoidable, this project tries to clarify such bias to readers by visualizing the experimental results so that a reader can understand the true intention of the experimenter.To achieve this goal, this project observes that an experimenter usually introduces bias by tuning the bottleneck of his/her experiment. This project targets developing comprehensive, automatic, and efficient approaches to identify experiment bottlenecks and concise and informative approaches to present such bottlenecks to readers. To be concrete, this project proposes to use a wait-for graph and an interpretive cumulative distribution function (CDF) to identify and present bottlenecks related to throughput and latency respectively, which are the most widely used performance metrics. It will further investigate how to scale these mechanisms to large and long-running systems.If successful, this project has the potential for significant real-world impact, because first, performance analysis is a routine procedure in both industry and academia, and second, clarifying experimenter bias would allow our community to better evaluate a research work. This project will further provide materials to educate students in a variety of programs, including undergraduate and graduate operating systems courses in the Department of Computer Science and Engineering, new projects in the Department of Analytics, and new projects at the Ohio Hackathon (targeting undergraduate and high school students).All versions of data, including program source code, papers, trace data, and other documentation will be maintained in a data repository at the Ohio State University using a versioning infrastructure, with periodic back up. The update of all data will be published at http://web.cse.ohio-state.edu/~yangwang/experimenter_bias.html. All data will be stored and maintained for at least five years after the completion of the project.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
运行实验来测量系统的性能,并将其性能与其他工作进行比较是计算机科学研究的常规程序。然而,实验者通常有一种自然的倾向,即选择有利于他/她自己工作的实验环境。这可能会在比较中引入不公平。不是试图消除这种偏见,这是困难的,因为人的努力是不可避免的,本项目试图通过可视化实验结果向读者澄清这种偏见,以便读者能够理解实验者的真实意图。为了实现这一目标,本项目观察到,实验者通常通过调整他/她的实验瓶颈来引入偏见。这个项目的目标是开发全面的、自动的和有效的方法来识别实验瓶颈,以及简洁和信息丰富的方法来向读者展示这些瓶颈。具体地说,该项目提出使用等待图和解释累积分布函数(CDF)来分别识别和呈现与吞吐量和延迟相关的瓶颈,这两个指标是应用最广泛的性能指标。它将进一步研究如何将这些机制扩展到大型和长期运行的系统。如果成功,这个项目可能会对现实世界产生重大影响,因为首先,性能分析是工业界和学术界的常规程序,其次,澄清实验者的偏见将使我们的社区能够更好地评估研究工作。该项目将进一步提供材料,以教育各种项目的学生,包括计算机科学与工程系的本科生和研究生操作系统课程,分析系的新项目,以及俄亥俄黑客松的新项目(面向本科生和高中生)。所有版本的数据,包括程序源代码、论文、跟踪数据和其他文档,都将使用版本控制基础设施维护在俄亥俄州立大学的数据存储库中,并定期进行备份。所有数据的更新将在http://web.cse.ohio-state.edu/~yangwang/experimenter_bias.html.上发布所有数据将在项目完成后存储和维护至少五年。这一奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(7)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
IsoBugView: Interactively Debugging Isolation Bugs in Database Applications
  • DOI:
    10.14778/3554821.3554885
  • 发表时间:
    2022-08
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Drew Ripberger;Yifan Gan;Xueyuan Ren;Spyros Blanas;Yang Wang
  • 通讯作者:
    Drew Ripberger;Yifan Gan;Xueyuan Ren;Spyros Blanas;Yang Wang
SICS: Secure and Dynamic Middlebox Outsourcing
  • DOI:
    10.1109/tnet.2020.3023386
  • 发表时间:
    2020-12
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Huazhe Wang;Xin Li;Chen Qian
  • 通讯作者:
    Huazhe Wang;Xin Li;Chen Qian
On the Discontinuation of Persistent Memory: Looking Back to Look Forward
论持久内存的终止:回顾过去展望未来
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Li, Tianxi;Wang, Yang;Lu, Xiaoyi
  • 通讯作者:
    Lu, Xiaoyi
Finding heterogeneous-unsafe configuration parameters in cloud systems
Developer's Responsibility or Database's Responsibility? Rethinking Concurrency Control in Databases
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Chao-Wei Cheng;Mingzhe Han;Nuo Xu;Spyros Blanas;Michael D. Bond;Yang Wang
  • 通讯作者:
    Chao-Wei Cheng;Mingzhe Han;Nuo Xu;Spyros Blanas;Michael D. Bond;Yang Wang
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Yang Wang其他文献

A New DDSCR structure with high holding voltage for robust ESD applications
具有高保持电压的新型 DDSCR 结构,适用于稳健的 ESD 应用
  • DOI:
    10.1088/1674-1056/abd38f
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    1.7
  • 作者:
    Zi-Jie Zhou;Xiang-Liang Jin;Yang Wang;Peng Dong
  • 通讯作者:
    Peng Dong
Foresee Urban Sparse Traffic Accidents: A Spatiotemporal Multi-Granularity Perspective
预见城市稀疏交通事故:时空多粒度视角
Correlation of choroidal thickness with age in healthy subjects: automatic detection and segmentation using a deep learning model
健康受试者脉络膜厚度与年龄的相关性:使用深度学习模型自动检测和分割
  • DOI:
    10.1007/s10792-022-02292-8
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    1.6
  • 作者:
    Chengshan Lin;Yu Huang;W. Hsia;Yang Wang;Chia
  • 通讯作者:
    Chia
Structure-activity relationships OF N-methylthiolated beta-lactam antibiotics with C3 substitutions and their selective induction of apoptosis in human cancer cells.
具有 C3 取代的 N-甲硫基 β-内酰胺抗生素的构效关系及其对人类癌细胞凋亡的选择性诱导。
FCA assisted IF Channel Construction towards Formulating Conceptual Data Modeling
FCA 协助中频通道建设制定概念数据模型
  • DOI:
  • 发表时间:
    2006
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yang Wang;Yang Wang
  • 通讯作者:
    Yang Wang

Yang Wang的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Yang Wang', 18)}}的其他基金

Frequency-Domain Model Updating through Branch and Bound with Convex Relaxation
通过凸松弛的分支定界更新频域模型
  • 批准号:
    2211343
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Characterizing the Physical, Chemical, and Toxicological Properties of Secondhand Aerosols Generated from Electronic Nicotine Delivery Systems in Indoor Environments
表征室内环境中电子尼古丁传输系统产生的二手气溶胶的物理、化学和毒理学特性
  • 批准号:
    2324142
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Characterizing the Physical, Chemical, and Toxicological Properties of Secondhand Aerosols Generated from Electronic Nicotine Delivery Systems in Indoor Environments
表征室内环境中电子尼古丁传输系统产生的二手气溶胶的物理、化学和毒理学特性
  • 批准号:
    2204659
  • 财政年份:
    2022
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: PPoSS: LARGE: ScaleStuds: Foundations for Correctness Checkability and Performance Predictability of Systems at Scale
合作研究:PPoSS:大型:ScaleStuds:大规模系统正确性可检查性和性能可预测性的基础
  • 批准号:
    2118745
  • 财政年份:
    2021
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Continuing Grant
Collaborative Research: SaTC: CORE: Medium: Novel Algorithms and Tools for Empowering People Who Are Blind to Safeguard Private Visual Content
协作研究:SaTC:核心:媒介:帮助盲人保护私人视觉内容的新颖算法和工具
  • 批准号:
    2126314
  • 财政年份:
    2021
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: EAGER: SaTC-EDU: Teaching High School Students about Cybersecurity and Artificial Intelligence Ethics via Empathy-Driven Hands-On Projects
合作研究:EAGER:SaTC-EDU:通过同理心驱动的实践项目向高中生传授网络安全和人工智能伦理知识
  • 批准号:
    2114991
  • 财政年份:
    2021
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: Gateway to North America--the Great American Biotic Interchange (GABI) in Mexico and Origin of C4 Grassland
合作研究:北美门户——墨西哥大美洲生物交汇处(GABI)与C4草原起源
  • 批准号:
    1949814
  • 财政年份:
    2020
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: Element: Development of MuST, A Multiple Scattering Theory based Computational Software for First Principles Approach to Disordered Materials
合作研究:元素:MuST 的开发,一种基于多重散射理论的计算软件,用于无序材料的第一原理方法
  • 批准号:
    1931525
  • 财政年份:
    2019
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CAREER: Inclusive Privacy: Effective Privacy Management for People with Visual Impairments
职业:包容性隐私:针对视力障碍人士的有效隐私管理
  • 批准号:
    2028387
  • 财政年份:
    2019
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Continuing Grant
CAREER: Inclusive Privacy: Effective Privacy Management for People with Visual Impairments
职业:包容性隐私:针对视力障碍人士的有效隐私管理
  • 批准号:
    1652497
  • 财政年份:
    2017
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Continuing Grant

相似国自然基金

胆固醇羟化酶CH25H非酶活依赖性促进乙型肝炎病毒蛋白Core及Pre-core降解的分子机制研究
  • 批准号:
    82371765
  • 批准年份:
    2023
  • 资助金额:
    50 万元
  • 项目类别:
    面上项目
锕系元素5f-in-core的GTH赝势和基组的开发
  • 批准号:
    22303037
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于合成致死策略搭建Core-matched前药共组装体克服肿瘤耐药的机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
鼠伤寒沙门氏菌LPS core经由CD209/SphK1促进树突状细胞迁移加重炎症性肠病的机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
肌营养不良蛋白聚糖Core M3型甘露糖肽的精确制备及功能探索
  • 批准号:
    92053110
  • 批准年份:
    2020
  • 资助金额:
    70.0 万元
  • 项目类别:
    重大研究计划
Core-1-O型聚糖黏蛋白缺陷诱导胃炎发生并介导慢性胃炎向胃癌转化的分子机制研究
  • 批准号:
    81902805
  • 批准年份:
    2019
  • 资助金额:
    20.5 万元
  • 项目类别:
    青年科学基金项目
原始地球增生晚期的Core-merging大碰撞事件:地核增生、核幔平衡与核幔边界结构的新认识
  • 批准号:
    41973063
  • 批准年份:
    2019
  • 资助金额:
    65.0 万元
  • 项目类别:
    面上项目
CORDEX-CORE区域气候模拟与预估研讨会
  • 批准号:
    41981240365
  • 批准年份:
    2019
  • 资助金额:
    1.5 万元
  • 项目类别:
    国际(地区)合作与交流项目
RBM38通过协助Pol-ε结合、招募core调控HBV复制
  • 批准号:
    31900138
  • 批准年份:
    2019
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

CNS Core: Small: Core Scheduling Techniques and Programming Abstractions for Scalable Serverless Edge Computing Engine
CNS Core:小型:可扩展无服务器边缘计算引擎的核心调度技术和编程抽象
  • 批准号:
    2322919
  • 财政年份:
    2024
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CNS Core: Small: Network Wide Sensing by Leveraging Cellular Communication Networks
CNS 核心:小型:利用蜂窝通信网络进行全网络传感
  • 批准号:
    2343469
  • 财政年份:
    2024
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: A Compilation System for Mapping Deep Learning Models to Tensorized Instructions (DELITE)
合作研究:CNS Core:Small:将深度学习模型映射到张量化指令的编译系统(DELITE)
  • 批准号:
    2230945
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: SmartSight: an AI-Based Computing Platform to Assist Blind and Visually Impaired People
合作研究:中枢神经系统核心:小型:SmartSight:基于人工智能的计算平台,帮助盲人和视障人士
  • 批准号:
    2418188
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CNS Core: Small: Intelligent Fault Injection to Expose and Reproduce Production-Grade Bugs in Cloud Systems
CNS 核心:小型:智能故障注入以暴露和重现云系统中的生产级错误
  • 批准号:
    2317698
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: NSF-AoF: CNS Core: Small: Towards Scalable and Al-based Solutions for Beyond-5G Radio Access Networks
合作研究:NSF-AoF:CNS 核心:小型:面向超 5G 无线接入网络的可扩展和基于人工智能的解决方案
  • 批准号:
    2225578
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CNS Core: Small: Toward Opportunistic, Fast, and Robust In-Cache AI Acceleration at the Edge
CNS 核心:小型:在边缘实现机会主义、快速且稳健的缓存内 AI 加速
  • 批准号:
    2228028
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CNS Core: Small: Repurposing Smartphones to Minimize Carbon
CNS 核心:小型:重新利用智能手机以最大限度地减少碳排放
  • 批准号:
    2233894
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
CNS Core: Small: Redesigning I/O Across Heterogeneous Systems
CNS 核心:小型:跨异构系统重新设计 I/O
  • 批准号:
    2231724
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Creating An Extensible Internet Through Interposition
合作研究:CNS核心:小:通过介入创建可扩展的互联网
  • 批准号:
    2242503
  • 财政年份:
    2023
  • 资助金额:
    $ 49.69万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了