Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task
Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task
复制标题
Priberam 实验室在 NTCIR-15 SHINRA2020-ML：分类任务
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Andre Lamurias
中科院分区：
文献类型：
--
作者：
Rúben Cardoso;A. Mendes;Andre Lamurias
维基百科是一个提供 285 种语言版本的在线百科全书。它构成了一个极其相关的知识库（KB），自动化系统可以利用它来实现多种目的。然而，此类信息的结构和组织不容易自动解析和理解，因此有必要结构化这些知识。当前 SHINRA2020-ML 任务的目标是利用维基百科页面，对属于扩展命名实体 (ENE) 本体的 268 个层次类别中的相应实体进行分类。在这项工作中，我们基于多语言 BERT 生成的上下文嵌入提出了三种不同的模型。我们探索了显式使用和不显式使用本体层次结构的线性层以及门控循环单元（GRU）层的性能。我们还测试了几种池化策略，以利用 BERT 的嵌入和基于标签分数的选择标准。我们能够在多种语言中实现良好的性能，包括那些在微调过程中没有看到的语言（零样本语言）。
Wikipedia is an online encyclopedia available in 285 languages. It composes an extremely relevant Knowledge Base (KB), which could be leveraged by automatic systems for several purposes. However, the structure and organisation of such information are not prone to automatic parsing and understanding and it is, therefore, necessary to structure this knowledge. The goal of the current SHINRA2020-ML task is to leverage Wikipedia pages in order to categorise their corresponding entities across 268 hierarchical categories, belonging to the Extended Named Entity (ENE) ontology. In this work, we propose three distinct models based on the contextualised embeddings yielded by Multilingual BERT. We explore the performances of a linear layer with and without explicit usage of the ontology's hierarchy, and a Gated Recurrent Units (GRU) layer. We also test several pooling strategies to leverage BERT's embeddings and selection criteria based on the labels' scores. We were able to achieve good performance across a large variety of languages, including those not seen during the fine-tuning process (zero-shot languages).
SHINRA2020-ML 任务概述
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
Satoshi Sekine;Masako Nomoto;Kouta Nakayama;Asuka Sumida;Koji Matsuda;and Maya Ando
通讯作者：
and Maya Ando