III: Small: Revisiting Experimental Evaluation Protocols for Link Prediction in Knowledge Graphs

III:小:重新审视知识图中链接预测的实验评估协议

基本信息

  • 批准号:
    2346959
  • 负责人:
  • 金额:
    $ 39.35万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2024
  • 资助国家:
    美国
  • 起止时间:
    2024-06-01 至 2027-05-31
  • 项目状态:
    未结题

项目摘要

This project aims to advance the understanding of link prediction in knowledge graphs. Knowledge graphs connect information through links. For example, a person is linked to a movie because they acted in the movie. This allows that person to be linked to other actors in the movie or to link the movie to the actor's other movies. These links create a knowledge graph. Many services like search engines increasingly rely on knowledge graphs, resulting in millions of users interacting with these graphs daily. Knowledge graphs are typically incomplete; that is, there are many missing links between entities that are in fact related. These missing links hinder graphs' effectiveness. For example, a search engine with missing links cannot completely or accurately answer a user question. Link prediction algorithms aim to make knowledge graphs more complete and therefore more accurate. Current evaluation protocols ignore the nature of the links predicted by a link prediction algorithm (interpretability), and rely on datasets crafted using random selection and arbitrary thresholds (bias). The current understanding of benefits and drawbacks of link prediction algorithms is thus quite limited. Without such understanding, the field of link prediction in knowledge graphs cannot properly advance as there is no clear direction on how to do so.Link prediction algorithms commonly rely on machine learning, so they train link prediction models to complete knowledge graphs. There are three main issues hindering our understanding of what link prediction models can accomplish: 1) The lack of methods to interpret a set of link predictions rather than individual predictions, and to quantify model interpretability; 2) The use of random selection and arbitrary thresholds to evaluate link prediction that introduce biases; and 3) The lack of homogeneous comparisons that hinder replicability due to variations in the experimental evaluation protocol. This project proposes the following advances: 1) New methods to compute global interpretations of the link predictions that a model deems correct; 2) New methods to detect and interpret the link prediction rules a model has learned, such as "if actor A acts in movie M, then A is in M's cast;" 3) New interpretation metrics and analyses considering various strategies to generate incorrect knowledge and its expected plausibility; 4) New definitions of anomalies, a.k.a. data redundancy, to understand biases in benchmarking datasets while taking link prediction rules into account; 5) New methods to partition datasets into splits that preserve graph features with statistical guarantees; 6) New statistically sound methods to select subgraphs from real-world knowledge graphs for use as benchmarking datasets; 7) An open-source link prediction framework to reduce barriers when replicating results; and 8) A link prediction evaluation module available through Google Colab, and publicly-available link prediction models to promote open comparisons.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
本项目旨在促进对知识图中链接预测的理解。知识图谱通过链接连接信息。例如,一个人被链接到一部电影,因为他们在这部电影中扮演了角色。这允许这个人链接到电影中的其他演员,或者将电影链接到演员的其他电影。这些链接创建了一个知识图谱。像搜索引擎这样的许多服务越来越依赖于知识图谱,导致每天有数百万用户与这些图谱进行交互。知识图谱通常是不完整的;也就是说,在实际上相关的实体之间存在许多缺失的链接。这些缺失的链接阻碍了图表的有效性。例如,缺少链接的搜索引擎无法完整或准确地回答用户的问题。链接预测算法旨在使知识图更完整,从而更准确。目前的评估协议忽略了链路预测算法预测的链路的性质(可解释性),并依赖于使用随机选择和任意阈值(偏差)制作的数据集。因此,目前对链路预测算法的优缺点的理解是相当有限的。如果没有这样的理解,知识图中的链接预测领域就无法正常发展,因为没有明确的方向。链接预测算法通常依赖于机器学习,因此它们训练链接预测模型来完成知识图。有三个主要问题阻碍了我们对链接预测模型的理解:1)缺乏解释一组链接预测而不是单个预测的方法,以及量化模型可解释性的方法;2)使用随机选择和任意阈值来评估引入偏差的链路预测;3)由于实验评估方案的差异,缺乏同质比较,阻碍了可复制性。本项目提出以下进展:1)计算模型认为正确的链接预测的全局解释的新方法;2)检测和解释模型所学到的链接预测规则的新方法,例如“如果演员a在电影M中表演,那么a在M的演员阵容中;”3)考虑各种产生错误知识的策略及其预期合理性的新的解释指标和分析;4)新的异常定义,即数据冗余,以理解基准数据集的偏差,同时考虑链接预测规则;5)新的数据集分割方法,在保留统计保证的图特征的情况下;6)从现实世界的知识图中选择子图作为基准数据集的新的统计可靠方法;7)开源链接预测框架,减少复制结果时的障碍;8)通过谷歌Colab提供的链路预测评价模块,以及公开可用的链路预测模型,促进公开比较。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Carlos Rivero其他文献

Hermite and Gabor transforms for noise reduction and handwriting classification in ancient manuscripts
Hermite 和 Gabor 变换用于古代手稿中的降噪和笔迹分类
Tarsal tunnel syndrome: Outcome of surgery in longstanding cases
跗管综合征:长期病例的手术结果
  • DOI:
    10.1097/00003086-199710000-00025
  • 发表时间:
    1997
  • 期刊:
  • 影响因子:
    4.2
  • 作者:
    Ibrahim Turan;Carlos Rivero;P. Guntner;Christer Rolf
  • 通讯作者:
    Christer Rolf
Automated convective and stratiform precipitation estimation in a small mountainous catchment using X-band radar data in central Spain.
使用西班牙中部 X 波段雷达数据自动估算小型山区流域的对流和层状降水。
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    C. Guardiola‐Albert;Carlos Rivero;R. Monjo;A. Díez;C. Yagüe;J. Bodoque;F. Tapiador
  • 通讯作者:
    F. Tapiador
The Value and Partisanship Basis of Left-Right Placement after the Financial Crisis
金融危机后左右布局的价值与党派基础
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Carlos Rivero;H. Kotzé
  • 通讯作者:
    H. Kotzé
An algorithm for robust linear estimation with grouped data
  • DOI:
    10.1016/j.csda.2008.07.009
  • 发表时间:
    2008-12-15
  • 期刊:
  • 影响因子:
  • 作者:
    Carlos Rivero;Teofilo Valdes
  • 通讯作者:
    Teofilo Valdes

Carlos Rivero的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Carlos Rivero', 18)}}的其他基金

Using Program Dependence Graphs to Propagate Feedback to Students on Programming Assignments and Promote Responsive Teaching
使用程序依赖图向学生传播有关编程作业的反馈并促进响应式教学
  • 批准号:
    1915404
  • 财政年份:
    2019
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CSR: Small: Leveraging Physical Side-Channels for Good
CSR:小:利用物理侧通道做好事
  • 批准号:
    2312089
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
NeTS: Small: NSF-DST: Modernizing Underground Mining Operations with Millimeter-Wave Imaging and Networking
NeTS:小型:NSF-DST:利用毫米波成像和网络实现地下采矿作业现代化
  • 批准号:
    2342833
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
CPS: Small: NSF-DST: Autonomous Operations of Multi-UAV Uncrewed Aerial Systems using Onboard Sensing to Monitor and Track Natural Disaster Events
CPS:小型:NSF-DST:使用机载传感监测和跟踪自然灾害事件的多无人机无人航空系统自主操作
  • 批准号:
    2343062
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Reservoir Computing with Ion-Channel-Based Memristors
合作研究:FET:小型:基于离子通道忆阻器的储层计算
  • 批准号:
    2403559
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
オミックス解析を用いたブドウ球菌 small colony variants の包括的特徴づけ
使用组学分析全面表征葡萄球菌小菌落变体
  • 批准号:
    24K13443
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
AF: Small: Problems in Algorithmic Game Theory for Online Markets
AF:小:在线市场的算法博弈论问题
  • 批准号:
    2332922
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
NeTS: Small: ML-Driven Online Traffic Analysis at Multi-Terabit Line Rates
NeTS:小型:ML 驱动的多太比特线路速率在线流量分析
  • 批准号:
    2331111
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331302
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331301
  • 财政年份:
    2024
  • 资助金额:
    $ 39.35万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了