Collaborative Research: III: MEDIUM: Responsible Design and Validation of Algorithmic Rankers

合作研究:III:媒介:算法排序器的负责任设计和验证

基本信息

  • 批准号:
    2312932
  • 负责人:
  • 金额:
    $ 40万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-09-01 至 2027-08-31
  • 项目状态:
    未结题

项目摘要

Data-driven systems employ algorithms to aid human judgment in critical domains like hiring and employment, school and college admissions, credit and lending, and college ranking. Because of their impacts on individuals, population groups, institutions, and society at large, it is critical to incorporate fairness, accountability, and transparency considerations into the design, validation, and use of these systems. Current research in this area has mainly focused on classification and prediction tasks. However, scoring and ranking are also used widely, and raise many concerns that methods designed for classification cannot handle because classification labels are applied one item at a time, whereas ranking is explicitly designed to compare items. This project is focused on algorithmic score-based rankers that sort a set of candidates based on a “simple” scoring formula. Such rankers are widely used in critical domains because of the premise that they are easier to design, understand, and justify than complex learned models. Yet, even these seemingly simple and transparent rankers may produce counter-intuitive results, unfairly demote candidates that belong to disadvantaged groups, and be prone to manipulation due to sensitivity to slight changes in the input data or in the scoring formula. Addressing these issues is challenging due to the interplay between the data being ranked and the ranker, the complex structure within the data, and the need to balance multiple objectives.This project considers the core technical challenges inherent in the responsible design and validation of algorithmic rankers, and pursues three synergistic aims. Aim 1 is to develop methods to quantify the impact of item attributes, and of specific engineering choices regarding attribute representation and pre-processing, on the ranked outcome (validation). This information is then used to guide the data scientist in selecting a scoring function that corresponds to their understanding of quality or appropriateness (design). Aim 2 is to develop methods to quantify the impact of data uncertainty, of slight changes in the scoring formula, or both, on the ranked outcome (validation). This information is then used to guide the data scientist in intervening on data acquisition and pre-processing to reduce uncertainty, and in selecting a scoring function that is sufficiently stable (design). Aim 3 is to develop methods to quantify lack of fairness in ranked outcomes, with respect to candidates from under-represented or historically disadvantaged groups, in view of multiple fairness objectives and potential intersectional discrimination (validation). This information is then used to identify feasible trade-offs and assist the data scientist in navigating these trade-offs to enact fairness-enhancing interventions (design). Outcomes of this work will impact the practice of scoring and ranking in critical domains like educational program admissions, hiring, and college ranking. Insights from this work will enable technical interventions when appropriate, and also identify cases where they are insufficient, and where more data should be collected or an alternative screening process should be used. This project will also include teaching and mentoring, public education and outreach, and broadening participation of members of under-represented groups in computing.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
数据驱动的系统使用算法来帮助人类在关键领域进行判断,如招聘和就业,学校和大学招生,信贷和贷款以及大学排名。由于它们对个人、人口群体、机构和整个社会的影响,将公平性、问责制和透明度考虑纳入这些系统的设计、验证和使用中至关重要。 目前在这一领域的研究主要集中在分类和预测任务。然而,评分和排名也被广泛使用,并提出了许多问题,为分类设计的方法无法处理,因为分类标签是一次应用一个项目,而排名是明确设计的比较项目。 这个项目的重点是基于算法分数的排名,排序一组候选人的基础上一个“简单”的评分公式。 这样的排名被广泛用于关键领域,因为它们比复杂的学习模型更容易设计,理解和证明。然而,即使是这些看似简单和透明的排名可能会产生反直觉的结果,不公平地降级属于弱势群体的候选人,并由于对输入数据或评分公式的微小变化敏感而易于操纵。解决这些问题是具有挑战性的,因为被排名的数据和排名器之间的相互作用,数据中的复杂结构,以及需要平衡多个目标。该项目考虑了算法排名器的负责任设计和验证所固有的核心技术挑战,并追求三个协同目标。 目标1是开发方法来量化项目属性的影响,以及关于属性表示和预处理的特定工程选择,对排名结果(验证)。 然后,这些信息用于指导数据科学家选择与他们对质量或适当性(设计)的理解相对应的评分函数。 目标2是开发方法来量化数据不确定性的影响,评分公式的轻微变化,或两者兼而有之,对排名结果(验证)。 然后,这些信息用于指导数据科学家干预数据采集和预处理,以减少不确定性,并选择足够稳定的评分函数(设计)。 目标3是制定方法来量化排名结果中缺乏公平性,考虑到多个公平目标和潜在的交叉歧视(验证),考虑到代表性不足或历史上处于不利地位的群体的候选人。 然后,这些信息被用来确定可行的权衡,并帮助数据科学家导航这些权衡,以制定增强公平性的干预措施(设计)。 这项工作的结果将影响评分和排名的做法在关键领域,如教育计划招生,招聘和大学排名。从这项工作中获得的见解将有助于在适当的时候采取技术干预措施,并确定技术干预措施不足的情况,以及应收集更多数据或应使用替代筛选程序的情况。 该项目还将包括教学和指导,公众教育和推广,以及扩大代表性不足的群体在计算中的参与。该奖项反映了NSF的法定使命,并被认为值得通过使用基金会的知识价值和更广泛的影响审查标准进行评估来支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Aritra Dasgupta其他文献

Reducing the Analytical Bottleneck for Domain Scientists: Lessons from a Climate Data Visualization Case Study
减少领域科学家的分析瓶颈:气候数据可视化案例研究的经验教训
  • DOI:
    10.1109/mcse.2016.7
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    2.1
  • 作者:
    Aritra Dasgupta;Jorge Poco;E. Bertini;Cláudio T. Silva
  • 通讯作者:
    Cláudio T. Silva
SEVA: Structural Analysis based Security Evaluation of Sequential Locking
SEVA:基于结构分析的顺序锁定安全评估
LISA: A Multi-Layered Iterative Framework for Hardening Obfuscation with Modular Unit Transformations
LISA:通过模块化单元转换强化混淆的多层迭代框架
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Rasheed Almawzan;Atri Chatterjee;Aritra Dasgupta;S. Bhunia
  • 通讯作者:
    S. Bhunia
Sensemaking of Socially-Mediated Crisis Information
社会媒介危机信息的意义建构
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Vrushali Koli;Jun Yuan;Aritra Dasgupta
  • 通讯作者:
    Aritra Dasgupta
DIVAS: An LLM-based End-to-End Framework for SoC Security Analysis and Policy-based Protection
DIVAS:基于 LLM 的端到端框架,用于 SoC 安全分析和基于策略的保护
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Sudipta Paria;Aritra Dasgupta;S. Bhunia
  • 通讯作者:
    S. Bhunia

Aritra Dasgupta的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Aritra Dasgupta', 18)}}的其他基金

Collaborative Research: FW-HTF-RL: Trapeze: Responsible AI-assisted Talent Acquisition for HR Specialists
合作研究:FW-HTF-RL:Trapeze:负责任的人工智能辅助人力资源专家人才获取
  • 批准号:
    2326195
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant

相似国自然基金

喀斯特地区碳酸盐岩风化土壤中Cr(III)的氧化释放及胶体协同迁移机制研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0 万元
  • 项目类别:
    青年科学基金项目
希瓦氏菌介导锰(III)协同强化双酚A降解机制研究
  • 批准号:
    2023JJ40539
  • 批准年份:
    2023
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
电子供体对SRBs协同转化土壤中Cr(VI)和As(III)转化机理影响的研究
  • 批准号:
    41977029
  • 批准年份:
    2019
  • 资助金额:
    61.0 万元
  • 项目类别:
    面上项目
浮游球衣菌协同铁屑贫营养条件下去除选矿废水中Sb(III)的研究
  • 批准号:
    2018JJ3177
  • 批准年份:
    2018
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
废水中Cr(VI)快速光-电协同催化还原与Cr(III)资源回收研究
  • 批准号:
    51868051
  • 批准年份:
    2018
  • 资助金额:
    41.0 万元
  • 项目类别:
    地区科学基金项目
vicR反义长链非编码RNA 协同RNase III调控变异链球菌生物膜致龋性效果和机制的研究
  • 批准号:
    81771068
  • 批准年份:
    2017
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
锌表面绿色型稀土改性Cr(III)转化膜的成膜元素迁移规律及缓蚀离子协同效应研究
  • 批准号:
    51701038
  • 批准年份:
    2017
  • 资助金额:
    25.0 万元
  • 项目类别:
    青年科学基金项目
弱磁场与阴离子对零价铁去除水中As(III)的协同作用机制研究
  • 批准号:
    51608431
  • 批准年份:
    2016
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
CETP靶点作用分子鹰嘴豆芽素A与肽CPe-III相互作用及协同调节脂代谢机制研究
  • 批准号:
    31571825
  • 批准年份:
    2015
  • 资助金额:
    68.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: Conference: DESC: Type III: Eco Edge - Advancing Sustainable Machine Learning at the Edge
协作研究:会议:DESC:类型 III:生态边缘 - 推进边缘的可持续机器学习
  • 批准号:
    2342498
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: Conference: DESC: Type III: Eco Edge - Advancing Sustainable Machine Learning at the Edge
协作研究:会议:DESC:类型 III:生态边缘 - 推进边缘的可持续机器学习
  • 批准号:
    2342497
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
III : Medium: Collaborative Research: From Open Data to Open Data Curation
III:媒介:协作研究:从开放数据到开放数据管理
  • 批准号:
    2420691
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: High-Performance Scheduling for Modern Database Systems
协作研究:III:小型:现代数据库系统的高性能调度
  • 批准号:
    2322973
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: High-Performance Scheduling for Modern Database Systems
协作研究:III:小型:现代数据库系统的高性能调度
  • 批准号:
    2322974
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: A DREAM Proactive Conversational System
合作研究:III:小型:一个梦想的主动对话系统
  • 批准号:
    2336769
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: A DREAM Proactive Conversational System
合作研究:III:小型:一个梦想的主动对话系统
  • 批准号:
    2336768
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Medium: Designing AI Systems with Steerable Long-Term Dynamics
合作研究:III:中:设计具有可操纵长期动态的人工智能系统
  • 批准号:
    2312865
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: III: Small: Reconstruction of Diffusion History in Cyber and Human Networks with Applications in Epidemiology and Cybersecurity
合作研究:III:小:重建网络和人类网络中的扩散历史及其在流行病学和网络安全中的应用
  • 批准号:
    2324770
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
III: Medium: Collaborative Research: Integrating Large-Scale Machine Learning and Edge Computing for Collaborative Autonomous Vehicles
III:媒介:协作研究:集成大规模机器学习和边缘计算以实现协作自动驾驶汽车
  • 批准号:
    2348169
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Continuing Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了