Collaborative Research: RI: Small: Wisdom of Crowds with Machines in the Loop

合作研究:RI:小型:循环中机器的群体智慧

基本信息

  • 批准号:
    2007951
  • 负责人:
  • 金额:
    $ 23.34万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2020
  • 资助国家:
    美国
  • 起止时间:
    2020-10-01 至 2024-09-30
  • 项目状态:
    已结题

项目摘要

The importance of both human and machine intelligence and their complementarity has given rise to the aspiration for human-machine hybrid computing systems that achieve more than either could alone. Human-in-the-loop computing, where human inputs are sought during the computation process, is a natural approach. However, most human-in-the-loop computing systems focus on how simple human inputs can help machines to better perform their tasks. This research takes the opposite perspective by focusing on a human-centered domain---the wisdom of crowds---and studies how having machines in the loop can improve the efficacy of harnessing the wisdom of crowds. A key challenge is directly evaluating the quality of crowd contributions. This research tackles the problem of obtaining high-quality contributions from the crowd despite the lack of data for such evaluations. This project seeks to make more accurate and robust use of crowd contributions in a broad spectrum of applications in business (e.g. crowd transcription and translation, and online reviews), sciences (e.g. citizen sciences, machine learning, and peer reviews for conferences and journals), education (e.g. peer grading) and other areas. This research investigates two core problems for tapping into the wisdom of crowds in the challenging, yet realistic, non-verification and unsupervised setting where no ground truth is available, addressing two key research questions: (1) how to elicit high-quality information from (potentially strategic) crowd members; and (2) how to aggregate the elicited information to form a high-quality, collective opinion. Lack of verification via ground truth presents a challenge for the mechanism designer to align incentives for elicitation. It also means that the designer does not know whose information should be weighted higher in aggregation given heterogeneous contributions. This research develops a theoretically grounded framework for elicitation and aggregation for settings without verification. It incorporates machine learning methods for the design of elicitation and aggregation mechanisms to achieve provable guarantees for the crowdsourcing applications, with a focus on the quality of elicited information and the quality of the aggregated opinion.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
人类和机器智能的重要性以及它们的互补性已经引起了对人机混合计算系统的渴望,这些系统比任何一个单独都能实现更多。在计算过程中寻求人类输入的人在环计算是一种自然的方法。然而,大多数人在环计算系统都专注于简单的人类输入如何帮助机器更好地执行任务。本研究采取相反的视角,关注以人为中心的领域-群体智慧-并研究如何让机器参与循环可以提高利用群体智慧的效率。一个关键的挑战是直接评估群众贡献的质量。这项研究解决了从人群中获得高质量贡献的问题,尽管缺乏此类评估的数据。该项目旨在更准确和更强大地使用群众贡献,广泛应用于商业(例如群众转录和翻译,以及在线评论),科学(例如公民科学,机器学习,以及会议和期刊的同行评审),教育(例如同行评分)和其他领域。 本研究调查了两个核心问题,以挖掘人群的智慧在具有挑战性的,但现实的,无验证和无监督的设置,没有地面真相,解决两个关键的研究问题:(1)如何从(潜在的战略)人群成员引出高质量的信息;(2)如何汇总引出的信息,形成一个高质量的,集体的意见。缺乏通过基本事实进行的验证对机制设计者提出了一个挑战,即如何调整激励机制以促进启发。这也意味着设计者不知道在给定异质贡献的聚合中谁的信息应该权重更高。本研究发展了一个理论基础的框架,启发和聚合的设置没有验证。它将机器学习方法用于设计启发和聚合机制,以实现众包应用的可证明保证,重点是启发信息的质量和聚合意见的质量。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(29)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Identifiability of Label Noise Transition Matrix
  • DOI:
  • 发表时间:
    2022-02
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yang Liu
  • 通讯作者:
    Yang Liu
Learning Strategy-Aware Linear Classifiers
学习策略感知线性分类器
Detecting Corrupted Labels Without Training a Model to Predict
  • DOI:
  • 发表时间:
    2021-10
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Zhaowei Zhu;Zihao Dong;Yang Liu
  • 通讯作者:
    Zhaowei Zhu;Zihao Dong;Yang Liu
When Optimizing f-divergence is Robust with Label Noise
  • DOI:
  • 发表时间:
    2020-11
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Jiaheng Wei;Yang Liu
  • 通讯作者:
    Jiaheng Wei;Yang Liu
Machine truth serum: a surprisingly popular approach to improving ensemble methods
  • DOI:
    10.1007/s10994-022-06183-y
  • 发表时间:
    2019-09
  • 期刊:
  • 影响因子:
    7.5
  • 作者:
    Tianyi Luo;Yang Liu
  • 通讯作者:
    Tianyi Luo;Yang Liu
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Yang Liu其他文献

Mesenchymal Progenitors Derived from Different Locations in Long Bones Display Diverse Characteristics
来自长骨不同位置的间充质祖细胞表现出不同的特征
  • DOI:
    10.1155/2019/5037578
  • 发表时间:
    2019-04
  • 期刊:
  • 影响因子:
    4.3
  • 作者:
    Lu Weiguang;Gao Bo;Fan Jing;Cheng Pengzhen;Hu Yaqian;Jie Qiang;Luo Zhuojing;Yang Liu
  • 通讯作者:
    Yang Liu
Glycosylation of DMP1 promotes bone reconstruction in long bone defects
DMP1 的糖基化促进长骨缺损的骨重建
WITHDRAWN: Regular exercise protects aging Drosophila from high-fat-diet-induced locomotor impairment, cardiac dysfunction, lifespan shortening, and Nmnat and dSir2 expression decline.
撤回:定期运动可以保护衰老的果蝇免受高脂肪饮食引起的运动障碍、心脏功能障碍、寿命缩短以及 Nmnat 和 dSir2 表达下降的影响。
  • DOI:
    10.1016/j.exger.2018.01.017
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    3.9
  • 作者:
    Deng;Lan Zheng;Fan Yang;Han;Jing Chen;Jin;Dan Cheng;Kai Lu;Yang Liu;Xian;Wen
  • 通讯作者:
    Wen
A 0.5-V-supply, 37.8-nW, 17.6-ppm/°C switched-capacitor bandgap reference with second-order curvature compensation
具有二阶曲率补偿功能的 0.5V 电源、37.8nW、17.6ppm/℃ 开关电容器带隙基准
  • DOI:
    10.1016/j.mejo.2019.02.017
  • 发表时间:
    2019-05
  • 期刊:
  • 影响因子:
    2.2
  • 作者:
    Yang Liu;Bin Li;Zhaoquan Chen;Zhijian Chen;Mo Huang;Yan Lu
  • 通讯作者:
    Yan Lu
Cobalt and Aluminum Co-Optimized 1T Phase MoS2 with Rich Edges for Robust Hydrogen Evolution Activity
钴和铝协同优化的 1T 相 MoS2,具有丰富的边缘,具有强大的析氢活性
  • DOI:
    10.1021/acssuschemeng.2c01836
  • 发表时间:
    2022-07
  • 期刊:
  • 影响因子:
    8.4
  • 作者:
    Jiahuang Jian;Hongjun Kang;Xianshu Qiao;Kai Cui;Yang Liu;Yang Li;Wei Qin;Xiaohong Wu
  • 通讯作者:
    Xiaohong Wu

Yang Liu的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Yang Liu', 18)}}的其他基金

Development of the initial prototype of a pill sensor to detect colonic polyps and early bowel cancer
开发用于检测结肠息肉和早期肠癌的药丸传感器的初始原型
  • 批准号:
    MR/Y503411/1
  • 财政年份:
    2024
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Research Grant
SOFT-PATTERN
软图案
  • 批准号:
    EP/Y030559/1
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Fellowship
ERI: Understanding the Dynamic and Thermal Behaviors of Colloidal Droplets Toward a Novel Freezing-based Inkjet Printing Concept
ERI:了解胶体液滴的动态和热行为,以实现基于冷冻的新型喷墨打印概念
  • 批准号:
    2138214
  • 财政年份:
    2022
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
ERI: Understanding the Dynamic and Thermal Behaviors of Colloidal Droplets Toward a Novel Freezing-based Inkjet Printing Concept
ERI:了解胶体液滴的动态和热行为,以实现基于冷冻的新型喷墨打印概念
  • 批准号:
    2242311
  • 财政年份:
    2022
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
CAREER: Human-Centered Machine Learning: Robustness, Fairness and Dynamics
职业:以人为本的机器学习:稳健性、公平性和动态性
  • 批准号:
    2143895
  • 财政年份:
    2022
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Continuing Grant
FAI: Fairness in Machine Learning with Human in the Loop
FAI:机器学习中人的参与的公平性
  • 批准号:
    2040800
  • 财政年份:
    2021
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
When a Micro-Robot Encounters a Bowel Lesion
当微型机器人遇到肠道病变时
  • 批准号:
    EP/V047868/1
  • 财政年份:
    2021
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Research Grant
Semi-Parametric Factor Analysis for Item Responses and Response Times
项目响应和响应时间的半参数因子分析
  • 批准号:
    1826535
  • 财政年份:
    2019
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Utilising the Vibro-Impact Self-Propulsion Technique for Gastrointestinal Endoscopy
利用振动冲击自推进技术进行胃肠内窥镜检查
  • 批准号:
    EP/R043698/1
  • 财政年份:
    2018
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Research Grant
Controlling Multistability in Vibro-Impact Systems: Theory and Experiment
控制振动冲击系统的多稳定性:理论与实验
  • 批准号:
    EP/P023983/1
  • 财政年份:
    2017
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Research Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312841
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312842
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313131
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
  • 批准号:
    2313151
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Continuing Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312840
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
  • 批准号:
    2345528
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Motion Fields Understanding for Enhanced Long-Range Imaging
合作研究:RI:小型:增强远程成像的运动场理解
  • 批准号:
    2232298
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232055
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
  • 批准号:
    2313149
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Continuing Grant
Collaborative Research: CompCog: RI: Medium: Understanding human planning through AI-assisted analysis of a massive chess dataset
合作研究:CompCog:RI:中:通过人工智能辅助分析海量国际象棋数据集了解人类规划
  • 批准号:
    2312374
  • 财政年份:
    2023
  • 资助金额:
    $ 23.34万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了