QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
复制标题
DOI：
10.18653/v1/2021.naacl-main.45
复制
发表时间：
2021-04
期刊：
影响因子：
--
通讯作者：
Michihiro Yasunaga;Hongyu Ren;Antoine Bosselut;Percy Liang;J. Leskovec
中科院分区：
文献类型：
--
作者：
Michihiro Yasunaga;Hongyu Ren;Antoine Bosselut;Percy Liang;J. Leskovec
使用预先训练的语言模型 (LM) 和知识图 (KG) 中的知识回答问题的问题提出了两个挑战：给定 QA 上下文（问题和答案选择），方法需要 (i) 从大型 KG 中识别相关知识，以及 (ii) 对 QA 上下文和 KG 执行联合推理。在这里，我们提出了一种新模型 QA-GNN，它通过两个关键创新解决了上述挑战：(i) 相关性评分，我们使用 LM 来估计 KG 节点相对于给定 QA 上下文的重要性；(ii) 联合推理，我们将 QA 上下文和 KG 连接起来形成联合图，并通过基于图的消息传递相互更新它们的表示。我们在 CommonsenseQA 和 OpenBookQA 数据集上评估 QA-GNN，并展示其相对于现有 LM 和 LM+KG 模型的改进，以及执行可解释和结构化推理的能力，例如正确处理问题中的否定。
The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large KGs, and (ii) perform joint reasoning over the QA context and KG. Here we propose a new model, QA-GNN, which addresses the above challenges through two key innovations: (i) relevance scoring, where we use LMs to estimate the importance of KG nodes relative to the given QA context, and (ii) joint reasoning, where we connect the QA context and KG to form a joint graph, and mutually update their representations through graph-based message passing. We evaluate QA-GNN on the CommonsenseQA and OpenBookQA datasets, and show its improvement over existing LM and LM+KG models, as well as its capability to perform interpretable and structured reasoning, e.g., correctly handling negation in questions.